본 논문은 대규모 언어 모델(LLM)을 다른 모델의 품질을 평가하는 판정자로 활용하는 연구에 대해 다룹니다. 기존 연구들이 주로 요약이나 기계 번역과 같은 생성적 작업에서 LLM 판정자의 성능을 평가한 것과 달리, 본 연구는 수학적 추론 작업에 초점을 맞추어 객관적인 평가가 가능하도록 하였습니다. 연구 결과, LLM 판정자는 쉬운 문제는 잘 판단하지만 어려운 문제는 판단이 어렵다는 것을 발견했습니다. 또한, 판정 성능과 후보 모델의 작업 성능 간에 강한 상관관계가 존재하며, 판정자는 정답 여부와 상관없이 더 높은 품질의 모델을 선호하는 경향이 있음을 밝혔습니다. 추가적으로, 어휘 형태소 태그와 같은 간단한 특징을 사용하여 LLM 판정자의 행동을 70~75%의 정확도로 예측할 수 있음을 보였습니다. 마지막으로, LLM 판정자가 평균적으로 더 나은 모델을 일관되게 감지하지만 작업 성능 향상에는 크게 기여하지 못한다는 것을 실제 사용 사례 분석을 통해 보여줍니다.
