자유 형식 질문 답변(QA)의 평가는 다양성과 개방성으로 인해 여전히 어려운 과제입니다. 기존의 자동 평가지표는 의미적 동등성을 포착하거나 개방형 응답의 가변성을 수용하는 데 실패합니다. 대규모 언어 모델(LLM)을 평가자로 활용하는 것은 강력한 언어 이해 및 지시 따르기 능력으로 인해 유망한 대안이 됩니다. 제안된 CLEV(Consensus via Lightweight Efficient Voting)는 두 개의 주요 LLM을 심사위원으로 사용하고, 불일치 시에만 세 번째 심사위원을 호출합니다. 이 접근 방식은 불필요한 계산 요구 사항을 줄이면서 평가 신뢰성을 우선시합니다. 실험과 인간 평가를 통해 CLEV가 일관성 있고 확장 가능하며 리소스 효율적인 평가를 제공할 수 있음을 입증하여 자유 형식 QA에서 LLM을 평가하기 위한 강력한 프레임워크로 자리 잡았습니다.
