본 논문은 대규모 언어 모델(LLM)의 개방형 출력 평가의 어려움을 해결하기 위해 계층적 측면 분류 체계를 기반으로 하는 새로운 벤치마크 FRAbench와 평가자 GenEval을 제시합니다. FRAbench는 자연어 생성, 이미지 이해, 이미지 생성, 텍스트-이미지 결합 생성 등 4가지 설정에 걸쳐 112가지 측면을 포함하는 계층적 분류 체계를 사용하여 60,400개의 쌍 비교 샘플과 325,000개의 측면 수준 레이블로 구성됩니다. GenEval은 FRAbench를 활용하여 다양한 작업과 모드에 일반화 가능한 세분화된 평가자로, GPT-4o 및 전문가 평가자와 높은 일치율을 보이며, 새로운 작업 및 모드에도 강력하게 전이되고, 기존 LLM의 체계적인 약점을 드러냅니다. 기존의 LLM 평가 방식의 낮은 일관성과 좁은 적용 범위 문제를 세분화된 측면 지정을 통해 해결하고자 합니다.
