본 논문은 대규모 언어 모델(LLM)이 생성한 코드와 텍스트의 품질 평가에 대한 어려움을 다룬다. 기존의 Pass@k 지표는 많은 비용과 노력을 필요로 하며, BLEU와 같은 기존 지표는 의미론적 유사성을 제대로 반영하지 못한다. 이에 따라 LLM을 이용한 자동 평가 방법인 LLM-as-a-judge가 등장했지만, 소프트웨어 엔지니어링(SE) 작업에서의 인간 평가와의 정합성은 아직 충분히 연구되지 않았다. 본 연구는 세 가지 SE 데이터셋(코드 변환, 코드 생성, 코드 요약)을 사용하여 7가지 일반 목적 LLM과 2가지 평가용으로 미세 조정된 LLM을 기반으로 한 LLM-as-a-judge 방법들을 실험적으로 평가하고, 인간 평가와의 상관관계를 분석한다. 그 결과, 출력 기반 방법이 코드 변환 및 생성 작업에서 인간 평가와 높은 상관관계(각각 81.32, 68.51)를 보이며, 기존 지표인 ChrF++보다 우수한 성능을 나타냄을 확인했다.
