Q-Ponder: A Unified Training Pipeline for Reasoning-based Visual Quality Assessment
Created by
Haebom
저자
Zhuoxuan Cai, Jian Zhang, Xinbin Yuan, Peng-Tao Jiang, Wenxiang Chen, Bowen Tang, Lujian Yao, Qiyuan Wang, Jinwen Chen, Bo Li
개요
본 논문은 다중 모달 대규모 언어 모델(MLLM)을 이용한 이미지 품질 평가에서 정확성과 해석 가능성을 동시에 향상시키는 새로운 방법을 제안한다. 기존 방법들은 품질 점수 매기기와 이유 설명을 분리된 과제로 다루어 정확성과 해석 가능성 간의 상충 관계를 야기했으나, 본 논문에서는 냉시작 단계와 강화 학습 기반 미세 조정 단계로 구성된 두 단계 교육 프레임워크를 제안한다. 첫 번째 단계에서는 전문가가 설계한 프롬프트를 통해 고품질 데이터를 추출하여 이유 추론 능력을 초기화하고, 두 번째 단계에서는 GRPO(Group Relative Policy Optimization)를 사용하여 점수 정확도와 이유 설명의 일관성을 동시에 최적화한다. 제안된 Q-Ponder 모델은 기존 최고 성능 모델들을 상회하는 점수 회귀 성능과 이유 설명의 정확성 및 타당성을 보여준다.
시사점, 한계점
•
시사점:
◦
MLLM을 이용한 이미지 품질 평가에서 정확성과 해석 가능성을 동시에 향상시키는 새로운 방법 제시.
