본 논문은 코드 요약 생성 기술의 성능 비교가 어려운 이유(인적 평가의 비용과 자동 평가 지표의 신뢰성 부족)를 지적하고, 이 문제를 해결하기 위한 새로운 기준(baseline)을 제시합니다. LLM을 활용하여 코드 요약에 대한 전반적인 점수를 부여하는 간단한 방법으로, n-gram이나 임베딩 기반 방법과 달리 코드 자체를 고려하여 평가할 수 있습니다. 또한, 참조 요약 없이 코드만으로 평가하는 변형 방법도 제시하여 코드베이스의 문서 품질 평가 등 다른 작업에도 활용 가능성을 보여줍니다. 실험 결과, 제안된 방법은 기존 지표와 동등하거나 우수한 성능을 보였지만, LLM 특유의 편향성을 고려하여 임베딩 기반 방법과 병행하는 것이 좋다고 결론짓습니다.
