Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Efficient Contrastive Decoding with Probabilistic Hallucination Detection - Mitigating Hallucinations in Large Vision Language Models -

Created by
  • Haebom

저자

Laura Fieback, Nishilkumar Balar, Jakob Spiegelberg, Hanno Gottschalk

개요

대규모 비전 언어 모델(LVLMs)은 시각적 입력과 일치하지 않는 환각 응답을 생성하는 문제를 가지고 있습니다. 본 논문에서는 추론 시점에 확률적 환각 감지 기능을 활용하여 출력 분포를 문맥적으로 정확한 답변으로 이동시키는 간단한 방법인 효율적인 대조적 디코딩(ECD)을 제시합니다. 토큰 확률과 환각 점수를 비교하여 ECD는 원래 분포에서 환각 개념을 빼서 환각을 효과적으로 억제합니다. ECD는 어떤 오픈소스 LVLM에도 적용 가능하며 추가적인 LVLM 훈련이 필요하지 않습니다. 여러 벤치마크 데이터셋과 다양한 LVLMs에서 평가한 결과, ECD는 환각을 효과적으로 완화하고, LVLM 벤치마크 성능 및 계산 시간 측면에서 최첨단 방법을 능가하는 것으로 나타났습니다.

시사점, 한계점

시사점:
간단하고 효율적인 환각 감소 기법인 ECD 제시
추가적인 LVLM 훈련 없이 다양한 오픈소스 LVLM에 적용 가능
기존 최첨단 방법보다 뛰어난 성능 및 계산 속도 향상
확률적 환각 감지를 활용한 새로운 접근 방식 제시
한계점:
제시된 방법의 일반화 성능에 대한 추가적인 연구 필요
다양한 유형의 환각에 대한 로버스트성 평가 필요
특정 데이터셋이나 LVLM에 대한 의존성 평가 필요
👍