The Devil Is in the Details: Tackling Unimodal Spurious Correlations for Generalizable Multimodal Reward Models
Created by
Haebom
Category
Empty
저자
Zichao Li, Xueru Wen, Jie Lou, Yuqiu Ji, Yaojie Lu, Xianpei Han, Debing Zhang, Le Sun
개요
본 논문은 대규모 언어 모델(LLM)을 인간의 선호도에 맞추는 데 중요한 역할을 하는 다중 모드 보상 모델(MM-RM)의 일반화 문제를 해결하는 새로운 알고리즘을 제시합니다. 기존 MM-RM은 주로 텍스트 기반의 단순 상관관계에 의존하여 분포 외 데이터에 대한 일반화 성능이 떨어지는 한계를 가지고 있습니다. 본 논문에서 제안하는 단축 경로 인식 MM-RM 학습 알고리즘은 훈련 샘플의 가중치를 동적으로 조정하여 다중 모드 이해도를 높이고 단순 상관관계에 대한 의존성을 줄임으로써 이 문제를 해결합니다. 실험 결과, 일반화 성능, 하위 작업 성능, 그리고 확장성이 크게 향상됨을 보여줍니다.
시사점, 한계점
•
시사점:
◦
다중 모드 보상 모델의 일반화 성능 향상에 기여하는 새로운 학습 알고리즘을 제시.
◦
단순 상관관계에 대한 의존성 감소를 통해 더욱 강건한 다중 모드 보상 모델링 프레임워크 구축.
