본 논문은 대규모 다중 모달 모델(LMM)의 모달 불균형 문제를 해결하기 위한 새로운 선호도 학습 프레임워크인 Modality-Balancing Preference Optimization (MBPO)를 제안합니다. 기존 LMM들은 추론 과정에서 언어적 편향에 치우치는 모달 불균형으로 인해 일반화 성능이 저하되고 환각 현상이 발생하는 문제점을 가지고 있습니다. MBPO는 입력 이미지의 적대적 섭동을 통해 LLM 편향으로 인해 잘못된 응답(hard negatives)을 생성하여 더 효과적인 오프라인 선호도 데이터셋을 구성합니다. 또한, 폐쇄형 질문과 같은 검증이 용이한 작업을 활용하여 검증된 보상을 가진 온라인 응답을 생성하고, GRPO(Group Relative Policy Optimization)를 이용하여 오프라인-온라인 하이브리드 데이터로 모델을 학습시킵니다. 실험 결과, MBPO는 어려운 비전-언어 작업에서 LMM의 성능을 향상시키고 환각 현상을 효과적으로 줄이는 것을 보여줍니다.
시사점, 한계점
•
시사점:
◦
LLM의 내부적 편향을 제어하여 LMM의 모달 불균형 문제를 해결하는 새로운 접근법 제시.
