본 논문은 텍스트-이미지 생성 모델의 자동 평가를 위한 새로운 강화 학습 기반 프레임워크인 T2I-Eval-R1을 제안합니다. 기존의 지도 학습 방식은 고품질의 해석 가능한 평가 데이터셋에 의존하여 비용과 확장성에 제약이 있었으나, T2I-Eval-R1은 조악한 품질 점수만을 사용하여 오픈소스 다중 모달 대규모 언어 모델을 학습합니다. Group Relative Policy Optimization (GRPO)을 활용하여 스칼라 점수와 해석 가능한 추론 과정을 동시에 생성하며, 연속적인 보상 함수를 통해 점수 다양성을 유도하고 안정적인 최적화 신호를 제공합니다. 실험 결과, T2I-Eval-R1은 기존 방법들보다 인간 평가와의 일치도가 높고, 더 정확한 해석 가능한 점수 근거를 제공함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
고품질의 해석 가능한 데이터셋 없이도 오픈소스 MLLM을 활용한 텍스트-이미지 생성 모델의 자동 평가가 가능함을 보여줌.
◦
강화 학습 기반의 접근 방식으로 인간 평가와의 높은 일치도와 더 정확한 해석 가능한 점수 근거를 제공.
