본 논문은 대규모 비전-언어 모델(LVLM)의 환각(hallucination) 문제를 해결하기 위한 새로운 방법을 제안합니다. LVLM은 문맥 일관성은 유지하지만 시각적 입력과 일치하지 않는 텍스트를 생성하는 경향이 있습니다. 기존 연구들이 특정 모달리티(시각 또는 텍스트)의 특징이나 출력을 개선하는 데 집중한 것과 달리, 본 논문은 베이지안 관점에서 LVLM의 텍스트 생성 과정에서 시각적 의존성이 저하되는 요인을 종합적으로 조사합니다. 이를 바탕으로, 불필요한 시각 토큰 제거, 사전 정보 수정, 그리고 시각적 정보 의존성이 사라지는 시점에서 텍스트 생성 중단 등 세 가지 측면에서 환각 문제를 완화하는 방법을 제시합니다. POPE, CHAIR, MME 세 가지 벤치마크에서의 실험 결과, 제안된 방법이 기존 최첨단 방식보다 우수한 성능을 보임을 확인했습니다.
