Through the Magnifying Glass: Adaptive Perception Magnification for Hallucination-Free VLM Decoding
Created by
Haebom
Category
Empty
저자
Shunqi Mao, Chaoyi Zhang, Weidong Cai
개요
기존의 Vision-Language Model (VLM)은 시각적 입력에 근거하지 않은 부정확한 응답을 생성하는 시각적 환각(visual hallucination) 문제를 겪는다. 본 논문은 모델 fine-tuning 없이 환각을 완화하기 위한 기존 연구들이 대조적으로 편향을 줄이거나 디코딩 중 시각적 임베딩의 가중치를 증폭하는 방식을 취하지만, 이는 언어 추론 능력 저하를 초래한다는 점을 지적한다. 이에 본 논문에서는 주의 메커니즘을 기반으로 관련 시각 토큰을 반복적으로 분리하고 해당 영역을 확대하여 모델이 디코딩 중 미세한 시각적 세부 정보에 집중하도록 유도하는 새로운 시각적 디코딩 방법인 Perception Magnifier (PM)을 제안한다. PM은 각 디코딩 단계에서 구조적 및 문맥적 정보를 유지하면서 중요 영역을 확대함으로써 VLM이 시각적 입력에 대한 정밀 검토를 강화하여 더 정확하고 충실한 응답을 생성하도록 한다. 광범위한 실험 결과는 PM이 환각 완화뿐 아니라 언어 생성 능력을 향상시키고 강력한 추론 능력을 유지함을 보여준다. 코드는 https://github.com/ShunqiM/PM 에서 이용 가능하다.
