본 논문은 Visual Language Models (VLMs)이 인간의 시각적 선호도를 얼마나 효과적으로 포착할 수 있는지에 대한 질문을 다룹니다. DeepSeek R1과 OpenAI O1에서 영감을 얻은 강화 학습 기법을 사용하여 테스트 시간에 선호도를 고려하도록 VLMs를 훈련시켰습니다. ImageReward와 Human Preference Score v2 (HPSv2)와 같은 데이터셋을 사용하여 ImageReward 테스트 세트(ImageReward 공식 분할 데이터로 훈련)에서 64.9%, HPSv2(데이터의 약 25%로 훈련)에서 65.4%의 정확도를 달성했습니다. 이러한 결과는 기존의 인코더 기반 모델과 일치하며, 투명한 추론과 향상된 일반화 기능을 제공합니다. 본 연구는 VLMs의 풍부한 세계 지식과 사고 능력을 활용하여 해석 가능한 결과를 도출하고 의사결정 과정을 지원합니다. 현재 VLMs로 인간의 시각적 선호도를 합리적으로 설명할 수 있음을 보여주고, 단순한 선택 또는 점수 매기기 방법보다 우수한 효율적인 소프트 보상 전략을 이미지 순위 매기기에 도입했습니다. 이 추론 능력을 통해 VLMs는 종횡비 또는 복잡성에 관계없이 임의의 이미지를 순위 매길 수 있으므로 시각적 선호도 최적화의 효과를 높일 수 있습니다. 광범위한 마크업의 필요성을 줄이고 보상 일반화 및 설명 가능성을 향상시킴으로써, 본 연구 결과는 텍스트-비전 모델을 더욱 향상시키는 중요한 이정표가 될 수 있습니다.
