TARAC: Mitigating Hallucination in LVLMs via Temporal Attention Real-time Accumulative Connection

Created by

Haebom

저자

Lei Jiang, Chunzhao Xie, Tongxuan Liu, Yuting Zeng, jinrong Guo, Yunheng Shen, Weizhe Huang, Jing Li, Xiaohua Xu

💡 개요

대규모 비전-언어 모델(LVLM)은 놀라운 능력을 보이지만, 환각(hallucination) 현상으로 인해 실질적인 배포에 어려움을 겪습니다. 본 논문은 생성 과정에서 발생하는 시각적 주의(visual attention)의 저하가 환각의 주요 원인임을 밝히고, 이를 해결하기 위한 새로운 훈련 없는(training-free) 프레임워크인 TARAC(Temporal Attention Real-time Accumulative Connection)을 제안합니다. TARAC은 과거의 시각적 주의 정보를 동적으로 누적하고 재주입하여 시각적 근거(visual grounding)를 유지함으로써 환각을 효과적으로 줄입니다.

🔑 시사점 및 한계

•

훈련 없이 기존 LVLM의 환각 현상을 효과적으로 완화하며, 특히 생성 과정에서의 시각적 주의 저하 문제를 해결합니다.

•

경량의 플러그 앤 플레이(plug-and-play) 모듈로서, 기존 모델에 쉽게 적용 가능하며 추론 시 계산 오버헤드가 거의 없습니다.

•

다양한 모델 및 벤치마크에서 최첨단(state-of-the-art) 방법론 대비 우수한 성능을 보이며, 환각 문장 감소 및 인식 점수 향상 등의 구체적인 성과를 달성했습니다.

•

본 연구는 TARAC이 인지 강화 메커니즘에서 영감을 받았음을 언급하지만, 실제 인지 과학적 원리와의 더 깊은 연결성이나, TARAC이 환각을 줄이는 정확한 메커니즘에 대한 추가적인 이론적 분석이 필요할 수 있습니다.

PDF 보기

Made with Slashpage