본 논문은 통합 다중 모달 이해 및 생성 모델을 위한 통합 평가 프레임워크인 UniEval을 제시합니다. 기존의 다양한 과제별 벤치마크를 사용하는 평가 방식의 한계점(전체적인 결과 부족, 추가 평가 모델로 인한 오류, 방대한 레이블이 지정된 이미지 의존성, 다양성 부족한 벤치마크, 지시 사항 따르기 평가 기능이 제한적인 지표)을 해결하기 위해, 추가 모델, 이미지, 또는 주석 없이 통합된 평가를 가능하게 하는 UniEval을 제안합니다. UniEval은 통합 및 시각적 생성 모델 모두를 지원하는 종합적인 벤치마크인 UniBench와 UniScore 지표로 구성되며, 81개의 세분화된 태그를 포함하여 높은 다양성을 제공합니다. 실험 결과, UniBench는 기존 벤치마크보다 더 어렵고, UniScore는 인간 평가와 잘 일치하며 기존 지표보다 우수함을 보여줍니다. 또한, 최첨단 통합 및 시각적 생성 모델을 광범위하게 평가하여 새로운 통찰력을 제공합니다.
