Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Causal-HalBench: Uncovering LVLMs Object Hallucinations Through Causal Intervention

Created by
  • Haebom
Category
Empty

저자

Zhe Xu, Zhicai Wang, Junkang Wu, Jinda Lu, Xiang Wang

개요

대규모 시각-언어 모델(LVLM)은 객체 환각 문제를 겪는데, 이는 훈련 과정에서 빈번하게 함께 나타나는 객체 간의 허위 상관관계로 인해 발생한다. 본 논문은 LVLM에서 발생하는 허위 상관관계를 형식화하고 정량적으로 평가하기 위해 인과 분석을 도입한다. 구조적 인과 모델(SCM)을 구축하고, Causal-HalBench라는 새로운 벤치마크를 개발하여 허위 상관관계에 대한 모델의 견고성을 평가한다. 또한, 카운터팩추얼 샘플 생성 파이프라인을 제안하여, LVLM 및 텍스트-이미지(T2I) 모델을 활용한다. Causal-HalBench를 사용한 평가 결과, 주요 LVLM들이 허위 상관관계에 취약하다는 것을 확인했다.

시사점, 한계점

•
시사점:
◦
LVLM에서 객체 환각의 원인이 허위 상관관계임을 밝힘.
◦
인과 분석을 통해 허위 상관관계를 형식화하고 정량적으로 평가하는 새로운 접근 방식 제시.
◦
허위 상관관계에 대한 모델의 견고성을 평가하기 위한 새로운 벤치마크 (Causal-HalBench) 개발.
◦
카운터팩추얼 샘플 생성을 위한 확장 가능한 파이프라인 제안.
◦
주요 LVLM들의 허위 상관관계 취약성을 실험적으로 증명.
•
한계점:
◦
벤치마크가 특정 모델 및 데이터셋에 국한될 수 있음.
◦
카운터팩추얼 샘플 생성 파이프라인이 특정 모델 (LVLM, T2I)에 의존함.
◦
모델 개선 방향에 대한 구체적인 제안 부족.
👍
Made with Slashpage