본 논문은 대규모 비전-언어 모델(LVLMs)의 환각(hallucination) 문제를 해결하기 위해, 재훈련이나 파인튜닝 없이도 환각을 완화할 수 있는 새로운 디코딩 메커니즘인 DCLA(Decoding with Inter-layer Consistency via Layer Aggregation)를 제안합니다. DCLA는 이전 레이어의 표현을 집계하여 동적인 의미 참조를 구성하고, 의미적으로 벗어난 레이어를 수정하여 계층 간 일관성을 강화함으로써 환각을 효과적으로 줄입니다. MME와 POPE와 같은 환각 벤치마크 실험을 통해 DCLA가 여러 LVLMs에서 환각을 효과적으로 줄이고 신뢰성과 성능을 향상시키는 것을 보여줍니다.
시사점, 한계점
•
시사점:
◦
재훈련이나 파인튜닝 없이 LVLMs의 환각 문제를 효과적으로 해결할 수 있는 새로운 방법 제시.