본 논문은 대규모 비전-언어 모델(LVLMs)의 환각 문제를 해결하기 위한 새로운 훈련 없는 방법인 TARAC(Temporal Attention Real-time Accumulative Connection)을 제안합니다. LVLMs는 다양한 작업에서 뛰어난 성능을 보이지만, 환각 문제로 인해 실제 적용에 어려움을 겪고 있습니다. 기존 연구에서는 OPERA와 VCD 등의 환각 완화 방법이 제시되었지만, 본 논문은 이미지 토큰에 대한 어텐션 감소와 환각 발생 간의 상관관계에 초점을 맞춥니다. TARAC은 이미지 토큰에 대한 어텐션을 동적으로 누적하고 업데이트하여 생성 과정 중 환각을 완화합니다. 실험 결과, TARAC은 다양한 모델과 데이터셋에서 환각을 상당히 감소시키는 효과를 보였으며, 특히 CHAIR 벤치마크에서 VCD 대비 $C_S$를 25.2, $C_I$를 8.7 감소시켰습니다.
