본 논문은 대규모 다중 모드 모델(LMMs)의 이미지 이해 능력 평가를 위한 새로운 평가 파이프라인인 MMGenBench-Pipeline과 벤치마크인 MMGenBench-Test 및 MMGenBench-Domain을 제안합니다. 기존 벤치마크의 한계점인 특정 도메인 집중, 높은 제작 비용, 간결한 답변 등을 해결하기 위해, 이미지에서 텍스트 설명을 생성하고, 이를 다시 이미지로 생성하여 원본 이미지와 비교하는 자동화된 평가 방식을 제시합니다. 50개 이상의 LMM을 평가한 결과, 기존 벤치마크에서 우수한 성능을 보이는 LMM들도 기본적인 이미지 이해 및 설명 생성 작업에서 부족한 면을 보이는 것을 확인하였습니다. 이는 LMM의 성능 향상 가능성과 향후 모델 최적화 방향을 제시합니다. MMGenBench-Pipeline은 이미지 입력만으로 다양한 도메인에서 LMM의 성능을 효율적으로 평가할 수 있습니다.
