본 논문은 시각 질의 응답(VQA)을 위한 다중 모달 모델의 신뢰성 문제를 해결하기 위해 변이적 VQA 접근 방식을 제안합니다. 기존의 AdamW 최적화 기법 대신 IVON이라는 변이 알고리즘을 사용하여 모델 파라미터에 대한 사후 분포를 얻습니다. 실험 결과, 제안된 방법은 AdamW 기반의 fine-tuning 방식에 비해 예상 보정 오류(ECE)를 50% 이상 감소시키고, 적용 범위(Coverage)를 4% 향상시키는 등 신뢰성을 높이는 동시에 정확도를 유지하는 것을 보여줍니다. 특히 분포 변화가 있는 경우, OOD 데이터가 50%인 테스트셋에서 SOTA 대비 적용 범위를 8% 향상시키는 등 더 큰 성능 향상을 보입니다. 결론적으로, 변이 학습은 다중 모달 모델의 신뢰성을 향상시키는 실행 가능한 방법임을 제시합니다.
