Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Mitigating Hallucinations via Inter-Layer Consistency Aggregation in Large Vision-Language Models

Created by
  • Haebom

저자

Kai Tang, Jinhao You, Xiuqi Ge, Hanze Li, Yichen Guo, Xiande Huang

개요

본 논문은 대규모 비전-언어 모델(LVLMs)의 환각(hallucination) 문제를 해결하기 위해, 재훈련이나 파인튜닝 없이도 환각을 완화할 수 있는 새로운 디코딩 메커니즘인 DCLA(Decoding with Inter-layer Consistency via Layer Aggregation)를 제안합니다. DCLA는 이전 레이어의 표현을 집계하여 동적인 의미 참조를 구성하고, 의미적으로 벗어난 레이어를 수정하여 계층 간 일관성을 강화함으로써 환각을 효과적으로 줄입니다. MME와 POPE와 같은 환각 벤치마크 실험을 통해 DCLA가 여러 LVLMs에서 환각을 효과적으로 줄이고 신뢰성과 성능을 향상시키는 것을 보여줍니다.

시사점, 한계점

시사점:
재훈련이나 파인튜닝 없이 LVLMs의 환각 문제를 효과적으로 해결할 수 있는 새로운 방법 제시.
다양한 LVLMs에 적용 가능한 범용적인 해결책 제시.
계층 간 일관성 강화를 통한 안정적이고 신뢰할 수 있는 결과 도출.
외부 지식베이스 접근 없이도 성능 향상 가능.
한계점:
제안된 방법의 일반화 성능에 대한 추가적인 연구 필요.
특정 유형의 환각에 대한 효과성 검증 필요.
다양한 LVLMs과 데이터셋에 대한 광범위한 실험 및 비교 분석 필요.
👍