Variational Visual Question Answering for Uncertainty-Aware Selective Prediction

Created by

Haebom

저자

Tobias Jan Wieczorek, Nathalie Daun, Mohammad Emtiyaz Khan, Marcus Rohrbach

💡 개요

최근 비전-언어 모델(VLM)은 VQA와 같은 작업에서 과신 및 환각 현상에 취약한 문제를 보입니다. 본 논문은 변분 베이즈 추론을 VQA에 적용한 "Variational VQA"를 제안하여, 모델이 확신을 가질 때만 예측하도록 하는 선택적 예측 성능을 향상시켰습니다. 특히 낮은 오차 허용 범위에서 기존 모델보다 더욱 신뢰할 수 있는 결과를 도출하며, 변분 학습이 대규모 VLM의 안전성과 신뢰성을 높이는 효과적인 방법임을 입증합니다.

🔑 시사점 및 한계

•

변분 베이즈 추론이 VQA 작업에서 모델의 과신 및 환각 문제를 완화하고, 선택적 예측을 통해 신뢰성을 향상시키는 효과적인 방법임을 최초로 입증했습니다.

•

제안된 "Variational VQA"는 특히 낮은 오차 허용 범위에서 우수한 성능을 보이며, 기존 학습 방식보다 안정적인 예측을 제공합니다.

•

위험 회피형 선택자(risk-averse selector)를 통해 예측 불확실성을 고려한 더욱 견고한 선택 메커니즘을 제시합니다.

•

본 연구는 대규모 VLM을 더 안전하고 신뢰할 수 있게 만드는 중요한 방향을 제시하지만, 변분 추론의 계산 비용 및 대규모 모델에서의 효율성 최적화는 여전히 향후 연구 과제로 남아있습니다.

PDF 보기

Made with Slashpage