본 논문은 대규모 언어 모델(LLM)의 개방형 출력 평가의 어려움을 해결하기 위해 계층적 측면 분류 체계를 기반으로 하는 새로운 벤치마크 FRABench와 평가자 GenEval을 제안합니다. FRABench는 자연어 생성, 이미지 이해, 이미지 생성, 텍스트 및 이미지 결합 생성 등 네 가지 설정에 걸쳐 112가지의 세분화된 측면을 포함하는 60,400개의 쌍 비교 샘플과 325,000개의 평가 레이블로 구성됩니다. 인간 및 LLM 주석을 결합하여 생성된 이 데이터셋은 다양한 모달리티를 지원하는 대규모 다중 모달 자원을 제공하며, GenEval은 이를 활용하여 작업 및 모달리티에 일반화 가능한 세분화된 평가자를 개발합니다. GenEval은 GPT-4o 및 전문가 주석자와 높은 일치율을 보이며, 새로운 작업과 모달리티에도 강력하게 적용되고, 기존 LLM의 체계적인 약점을 드러냅니다.
