본 논문은 인간의 시각적 선호도에 맞춰 텍스트-이미지 및 텍스트-비디오 생성 모델을 정렬하기 위한 강건하고 일반화 가능한 보상 모델 학습에 초점을 맞추고 있습니다. 기존 보상 모델의 일반화 실패 및 지도 학습의 과적합 문제를 해결하기 위해, 그룹 상대 정책 최적화(GRPO) 기반 강화 학습을 활용합니다. 하지만 GRPO에서도 추론 과정이 독립적인 시각-언어 모델(listener)의 평가와 상반될 때 정확도가 크게 저하되는 문제점을 발견합니다. 이를 해결하고자, listener가 reasoner의 추론 과정을 재평가하여 밀도 높은 신뢰도 점수를 제공하고, 이를 강화 학습 보상 신호로 활용하는 listener-augmented GRPO 프레임워크를 제시합니다. 이는 reasoner가 정답을 맞히는 것뿐 아니라, 독립적인 모델을 설득할 수 있는 설명을 생성하도록 유도합니다. 제안된 방법은 ImageReward 벤치마크에서 최고 정확도(67.4%)를 달성하고, 대규모 인간 선호도 데이터셋(120만 표)에서 OOD 성능을 크게 향상시켰으며(최대 +6%), 기존 GRPO 및 SFT 기법보다 추론 모순을 줄였습니다. 결론적으로, listener 기반 보상은 시각-언어 모델을 미묘한 인간 선호도에 맞추는 확장 가능하고 데이터 효율적인 방법을 제공합니다.
