본 논문은 대규모 언어 모델(LLM)을 평가자로 활용하는 새로운 방법인 "Knockout Assessment"을 제안합니다. 기존의 LLM 평가 방법들이 개별 평가 또는 단일 라운드의 쌍대 비교에 의존하여 전반적인 순위에 대한 이해가 부족한 점을 개선하기 위해, Knockout Assessment는 반복적인 쌍대 비교를 통해 토너먼트 방식으로 평가를 진행합니다. 세 가지 LLM과 두 가지 데이터셋을 이용한 실험 결과, Knockout Assessment는 대학교 수준 시험 채점 및 기계 번역 평가에서 전문가 평가와의 Pearson 상관관계를 평균 0.07 향상시키는 등, 평가 정확도를 높이고 LLM의 평가를 인간의 평가와 더 일치시키는 것을 보여줍니다.
