INTER: Mitigating Hallucination in Large Vision-Language Models by Interaction Guidance Sampling
Created by
Haebom
저자
Xin Dong, Shichao Dong, Jin Wang, Jing Huang, Li Zhou, Zenghui Sun, Lihua Jing, Jingsong Lan, Xiaoyong Zhu, Bo Zheng
개요
본 논문은 대규모 시각-언어 모델(LVLMs)에서 발생하는 환각(hallucination) 문제를 해결하기 위해, 인간의 다중 모달 상호작용 정보 활용 능력을 모방한 새로운 훈련 없는 알고리즘 INTER(Interaction Guidance Sampling)을 제안한다. LVLMs는 그럴듯하지만 시각적 내용과 일치하지 않는 응답을 생성하는 환각 문제를 자주 발생시키는데, 이는 인간의 다중 모달 정보 분석 및 상호작용 이해 능력과 대조적이다. INTER는 LVLMs가 다중 모달 상호작용 정보를 효과적으로 재활용하여 응답을 생성하도록 유도함으로써 환각을 줄인다. VQA 및 이미지 캡션 생성 등 6개의 벤치마크에서 5개의 LVLMs에 대해 최첨단 디코딩 전략 대비 평균 3.4% 향상을 달성했다.
시사점, 한계점
•
시사점:
◦
인간의 다중 모달 정보 처리 과정을 모방하여 LVLMs의 환각 문제를 해결하는 새로운 접근법을 제시하였다.
◦
훈련이 필요 없는 알고리즘 INTER를 통해 추가 데이터 없이 LVLMs의 성능을 향상시킬 수 있음을 보였다.
◦
다양한 벤치마크에서 기존 최고 성능 대비 성능 향상을 입증하였다.
•
한계점:
◦
코드 공개가 논문 수락 이후로 예정되어 있어, 현재로서는 알고리즘의 구현 및 재현성 검증이 어렵다.
◦
제시된 알고리즘의 효과가 모든 LVLMs 및 모든 종류의 환각에 대해 일반화될 수 있는지는 추가적인 연구가 필요하다.
◦
인간의 인지 과정을 완벽하게 모방하지는 못하며, 인간과 같은 수준의 다중 모달 이해 능력을 달성하기에는 아직 한계가 있다.
