본 논문은 정적 데이터셋에 의존하는 기존 텍스트-이미지(T2I) 생성 모델 평가 벤치마크의 한계를 극복하기 위해, 다중 모달 대규모 언어 모델(MLLM)을 평가 에이전트로 활용하는 새로운 평가 프레임워크 MT2IE를 제시합니다. MT2IE는 반복적인 프롬프트 생성, 이미지 점수 매기기, 기존 벤치마크와의 점수 비교를 통해 T2I 모델의 프롬프트 생성 일관성과 이미지 미학을 평가합니다. 기존 벤치마크보다 훨씬 적은 수의 프롬프트(1/80)를 사용하면서도 기존 벤치마크와 동일한 상대적인 T2I 모델 순위를 생성하고, 특히 프롬프트 생성 일관성 점수는 기존보다 인간의 판단과 더 높은 상관관계를 보입니다.
시사점, 한계점
•
시사점:
◦
기존 정적 데이터셋 기반 평가의 한계를 극복하는 새로운 T2I 모델 평가 프레임워크 제시
◦
MLLM을 활용하여 효율적이고 효과적인 T2I 모델 평가 가능성 제시
◦
적은 수의 프롬프트로 기존 벤치마크와 유사한 결과 도출
◦
인간의 판단과 높은 상관관계를 보이는 새로운 평가 지표 제시
•
한계점:
◦
MLLM의 성능에 의존적일 수 있음. MLLM의 편향이나 한계가 평가 결과에 영향을 미칠 수 있음.
◦
새로운 평가 프레임워크의 일반화 성능에 대한 추가적인 검증 필요. 다양한 T2I 모델과 데이터셋에 대한 실험 필요.
◦
MLLM 기반 평가의 해석 가능성 및 투명성에 대한 추가 연구 필요. 평가 결과의 신뢰도를 높이기 위한 추가적인 노력 필요.
