본 논문은 기존의 미세립 비디오 캡션 생성 모델이 미묘한 영상 동작과 세부 정보를 포착하는 데 어려움을 겪는다는 점을 지적하며, 선호도 학습을 활용하여 이를 개선하는 방법을 제시합니다. 특히, 직접 선호도 최적화(DPO)의 한계를 완화하기 위해, 비전-언어 모델(VLM)의 고유 특성과 대규모 언어 모델(LLM)의 부분적 지원을 활용하여 선호도 쌍을 구성하는 파이프라인을 제안합니다. 또한, 기존 DPO 및 그 변형보다 효율적이고 성능이 뛰어난 새로운 최적화 방법인 Synergistic Preference Optimization (SynPO)를 제안합니다. SynPO는 음의 선호도가 최적화를 지배하는 것을 방지하고, 모델의 언어 능력을 명시적으로 보존하여 최적화 목표의 벗어남을 방지하며, 기준 모델이 필요 없어 훈련 효율성을 향상시킵니다. VDC, VDD, VATEX와 같은 비디오 캡션 벤치마크뿐 아니라 일반 언어 이해 및 선호도 평가 등 다양한 NLP 작업에서 광범위한 실험을 통해 SynPO가 DPO 변형보다 일관되게 우수한 성능을 보이며, 훈련 효율성을 20% 향상시킨다는 것을 보여줍니다.
