The Devil Is in the Details: Tackling Unimodal Spurious Correlations for Generalizable Multimodal Reward Models
Created by
Haebom
Category
Empty
저자
Zichao Li, Xueru Wen, Jie Lou, Yuqiu Ji, Yaojie Lu, Xianpei Han, Debing Zhang, Le Sun
개요
본 논문은 대규모 언어 모델(LLM)을 인간의 선호도에 맞추는 데 중요한 역할을 하는 다중 모달 보상 모델(MM-RM)의 일반화 문제를 다룹니다. 기존 MM-RM은 주로 텍스트 기반의 단순 상관관계에 의존하여 분포 외 데이터에 대한 일반화 성능이 떨어지는 한계를 보입니다. 이를 해결하기 위해, 본 논문은 훈련 샘플의 가중치를 동적으로 조정하여 다중 모달 이해도를 높이고 단순 상관관계 의존성을 줄이는 새로운 알고리즘을 제시합니다. 실험 결과, 제시된 알고리즘은 일반화 성능, 하위 작업 성능 및 확장성을 크게 향상시켜 더욱 강력한 다중 모달 보상 모델링 프레임워크를 구축함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
다중 모달 보상 모델의 일반화 문제를 해결하는 새로운 알고리즘을 제시합니다.
◦
단순 상관관계에 대한 의존성을 줄이고 진정한 다중 모달 보상 함수를 활용할 수 있도록 합니다.
