Causal-LLaVA: Causal Disentanglement for Mitigating Hallucination in Multimodal Large Language Models
Created by
Haebom
저자
Xinmiao Hu (Zhejiang University), Chun Wang (Zhejiang University), Ruihe An (Zhejiang University), ChenYu Shao (Zhejiang University), Xiaojun Ye (Zhejiang University), Sheng Zhou (Zhejiang University), Liangcheng Li (Zhejiang University)
개요
다중 모달 대규모 언어 모델(MLLM)은 시각적 이해 작업에서 강력한 성능을 보이지만, 입력과 일치하지 않거나 완전히 없는 객체에 대한 설명을 생성하는 객체 환각 문제를 겪는 경우가 많습니다. 이 문제는 객체의 빈번한 공동 발생으로 인해 모달 간에 얽힌 의미론적 표현이 발생하는 데이터셋 편향과 밀접한 관련이 있습니다. 결과적으로 모델은 입력과 일반적으로 연관되어 있지만 실제로는 존재하지 않는 객체 표현을 잘못 활성화할 수 있습니다. 본 논문에서는 인과적 개입을 통해 환각을 완화하는 인과 관계 기반 분리 프레임워크를 제안합니다. 이 접근 방식에는 시각 경로에 인과 관계 기반 프로젝터와 언어 모델의 최종 트랜스포머 계층에 통합된 인과적 개입 모듈이 포함됩니다. 이러한 구성 요소는 편향된 훈련 데이터로 인한 허위 상관 관계를 줄이기 위해 함께 작동합니다. 실험 결과에 따르면 제안된 방법은 여러 다중 모달 벤치마크에서 강력한 성능을 유지하면서 환각을 크게 줄입니다. 시각화 분석은 객체 표현의 개선된 분리 가능성을 추가로 확인합니다. 코드는 https://github.com/IgniSavium/Causal-LLaVA 에서 이용 가능합니다.
