LLM을 판사로 활용하는 패러다임은 언어 모델을 평가하는 확장 가능하고 참조 없는 접근 방식을 제공합니다. 기존 연구는 주로 좁고 잘 구조화된 벤치마크에 초점을 맞춰 여러 보정 기법을 제안했지만, 이러한 보정이 실제 세계의 개방형 과제로 일반화되는지 여부는 불분명했습니다. 본 연구는 최첨단 보정 평가자가 이러한 설정에서 종종 실패하여 인간의 판단과 약하거나 심지어 부의 상관관계를 보임을 보여줍니다. 이를 해결하기 위해 소량의 인간 선호도 데이터에 대한 엔트로피 최대화를 기반으로 하는 새로운 효율적인 보정 방법인 SLMEval을 제안합니다. 모델 품질에 대한 잠재 분포를 추정하고 그에 따라 평가자 점수의 가중치를 재조정함으로써 SLMEval은 두 가지 실제 프로덕션 사용 사례와 공개 벤치마크에서 인간 평가와 강한 상관관계를 달성합니다. 예를 들어, 한 작업에서 SLMEval은 인간 판단과 0.57의 Spearman 상관관계를 달성하는 반면 G-Eval은 부의 상관관계를 나타냅니다. 또한 SLMEval은 G-eval과 같은 GPT-4 기반 보정 평가자에 비해 평가 비용을 5~30배 줄입니다.
