본 논문은 대규모 언어 모델(LLM) 평가에서 벤치마크 오염 문제를 해결하기 위해 에이전트 기반 평가자(Agents-as-an-Evaluator) 방식의 편향성을 이론적으로 분석하고, 새로운 평가 프로토콜인 'Unbiased Evaluator'를 제안합니다. 기존 에이전트 기반 평가자의 편향성을 두 가지 유형으로 분류하고, 이를 해결하기 위해 설계된 Unbiased Evaluator는 더욱 포괄적이고, 편향되지 않으며, 해석 가능한 LLM 평가를 제공합니다. 실험 결과, 기존 LLM의 개선 여지가 크다는 것을 보여주며, Unbiased Evaluator가 벤치마크 오염의 증거를 제시하고 해석 가능한 평가 결과를 제공함을 입증합니다.
