본 논문은 시각 언어 모델(VLMs)이 인간의 시각적 선호도를 얼마나 효과적으로 포착할 수 있는지에 대한 질문을 다룹니다. DeepSeek R1과 OpenAI O1에서 영감을 받은 강화 학습 기법을 사용하여 테스트 시간에 선호도를 고려하도록 VLMs를 훈련시켰습니다. ImageReward와 Human Preference Score v2 (HPSv2)와 같은 데이터셋을 사용하여 ImageReward 테스트 세트(ImageReward 공식 분할 데이터로 훈련)에서 64.9%, HPSv2(데이터의 약 25%로 훈련)에서 65.4%의 정확도를 달성했습니다. 이는 기존의 인코더 기반 모델과 유사한 성능을 보이면서 투명한 추론과 향상된 일반화 능력을 제공합니다. 이 접근 방식을 통해 풍부한 VLM 세계 지식뿐만 아니라 사고 능력도 활용하여 의사 결정 과정에 도움이 되는 해석 가능한 결과를 얻을 수 있습니다. 본 논문은 현재 VLMs가 인간의 시각적 선호도를 합리적으로 추론할 수 있음을 보여주고, 단순한 선택 또는 점수 매기기 방법보다 성능이 우수한 효율적인 소프트 보상 전략을 이미지 순위 매기기에 도입합니다. 이 추론 능력을 통해 VLMs는 종횡비 또는 복잡성에 관계없이 임의의 이미지를 순위 지정할 수 있으므로 시각적 선호도 최적화의 효과를 높일 수 있습니다. 광범위한 마크업의 필요성을 줄이고 보상 일반화 및 설명 가능성을 향상시킴으로써, 본 연구 결과는 텍스트-이미지 모델을 더욱 향상시키는 중요한 이정표가 될 수 있습니다.
