본 논문은 대규모 비전-언어 모델(LVLMs)에서 주요 신뢰성 문제 중 하나인 객체 환각(OH)을 해결하기 위해, LVLMs의 내부 상태(은닉 상태 등)가 생성된 응답의 "전반적인 진실성"을 인코딩한다는 점에 착안하여 연구를 진행했습니다. 연구 결과, LVLM의 내부 상태가 토큰 단위의 환각 행동 지표로 사용될 수 있으며, 다양한 LVLMs에서 환각의 패턴이 공통된 잠재 공간에 존재한다는 것을 발견했습니다. 이러한 발견을 바탕으로, LVLM 디코딩의 진실성 방향을 학습하고, 디코딩 중 진실성 기반의 추론 시간 개입을 적용하는 Truthful-Guided Pre-Intervention (TruthPrInt) 방법을 제안했습니다. 또한, 환각 잠재 공간을 구성하고 정렬하여 LVLMs 간 및 데이터 간 환각 탐지 전이성을 향상시키는 ComnHallu를 제안했습니다. 다양한 LVLMs과 OH 벤치마크를 사용한 광범위한 실험 결과, TruthPrInt가 최첨단 방법보다 성능이 훨씬 뛰어남을 보였습니다.
