본 논문은 생성형 AI 모델의 급속한 발전에 따라 다양한 모델과 설정 간의 체계적인 비교 및 선택의 필요성을 강조하며, 대규모 언어 모델(LLM) 기반 평가자를 활용하는 방법을 제안합니다. 기존 연구는 개별 응답이나 응답 쌍을 기반으로 LLM 평가자를 평가했지만, 시스템 수준의 순위에 영향을 미치는 요소(특정 시스템에 대한 평가자의 긍정적 또는 부정적 편향 등)를 간과했습니다. 본 논문은 LLM 평가자를 시스템 순위 매기는 도구로 활용하는 최초의 대규모 연구를 수행하여, 여러 시스템 출력에 대한 판단 점수를 집계하여 시스템 점수를 생성하고, 생성된 시스템 순위를 인간 기반 순위와 비교하여 평가자의 질을 평가합니다. 전반적인 평가자 평가 외에도, 결정력과 편향성을 포함한 평가자 행동에 대한 세분화된 특성 분석을 제공합니다.
