Mitigating Hallucinations in Large Vision-Language Models via Entity-Centric Multimodal Preference Optimization
Created by
Haebom
저자
Jiulong Wu, Zhengliang Shi, Shuaiqiang Wang, Jizhou Huang, Dawei Yin, Lingyong Yan, Min Cao, Min Zhang
개요
본 논문은 대규모 시각 언어 모델(LVLMs)의 환각 문제를 해결하기 위해 엔티티 중심 다중 모달 선호도 최적화(EMPO) 방법을 제안합니다. 기존 방법들이 인간 선호도와의 정렬에만 집중하여 모달 정렬을 간과하고 LLM에 과도하게 의존하는 한계를 극복하고자, EMPO는 이미지와 텍스트 모달 간의 정렬을 향상시킵니다. 또한 고품질 다중 모달 선호도 데이터 부족 문제를 해결하기 위해 오픈소스 지시 데이터셋을 활용하여 자동으로 고품질 선호도 데이터를 생성합니다. 실험 결과, Object-HalBench에서는 85.9%, MM-HalBench에서는 49.8%의 환각률 감소 효과를 보이며 EMPO의 효과를 입증합니다.
시사점, 한계점
•
시사점:
◦
LVLMs의 환각 문제를 효과적으로 해결하는 새로운 방법(EMPO)을 제시.
◦
모달 정렬에 중점을 둠으로써 LLM 의존성을 줄이고 환각을 감소시킴.
◦
오픈소스 데이터를 활용하여 고품질 다중 모달 선호도 데이터를 효율적으로 생성하는 방법 제시.
