Calibrating Uncertainty Quantification of Multi-Modal LLMs using Grounding
Created by
Haebom
Category
Empty
저자
Trilok Padhi, Ramneet Kaur, Adam D. Cobb, Manoj Acharya, Anirban Roy, Colin Samplawski, Brian Matejek, Alexander M. Berenbeim, Nathaniel D. Bastian, Susmit Jha
개요
본 논문은 다중 모드 대규모 언어 모델(LLM)에 맞춤화된 불확실성 정량화(UQ)를 보정하는 새로운 방법을 제시합니다. 기존 최첨단 UQ 방법은 다양한 설정 하에서 LLM이 입력 쿼리에 대해 생성한 여러 응답 간의 일관성에 의존합니다. 그러나 이러한 방법은 LLM이 일관되게 잘못된 경우 더 높은 신뢰도를 보고하는 경우가 많습니다. 이는 정확도에 대한 신뢰도가 잘 보정되지 않는다는 것을 의미합니다. 이를 해결하기 위해, 자기 일관성 외에 교차 모드 일관성을 활용하여 다중 모드 모델의 보정을 개선합니다. 구체적으로, 텍스트 응답을 시각적 입력에 근거합니다. 근거 모델의 신뢰도는 전체 신뢰도를 보정하는 데 사용됩니다. 근거 모델을 사용하면 파이프라인에 고유한 불확실성이 추가되므로, 널리 받아들여지는 매개변수 보정 기법인 온도 조절을 적용하여 생성된 응답의 정확도에 대한 근거 모델의 신뢰도를 보정합니다. 의료 질문 응답(Slake) 및 시각적 질문 응답(VQAv2)과 같은 여러 다중 모드 작업에서 LLaVA-Med 및 LLaVA와 같은 다중 모드 모델을 고려하여 제안된 방법을 평가합니다. 실험 결과, 제안된 프레임워크는 두 작업 모두에서 상당히 향상된 보정을 달성함을 보여줍니다.
시사점, 한계점
•
시사점: 다중 모달 LLM의 불확실성 정량화(UQ) 보정을 위한 새로운 접근 방식을 제시하며, 교차 모달 일관성을 활용하여 기존 방법의 한계를 극복합니다. 의료 질문 응답 및 시각적 질문 응답과 같은 다양한 작업에서 향상된 보정 성능을 실험적으로 입증합니다. 온도 조절 기법을 활용하여 근거 모델의 신뢰도를 효과적으로 보정합니다.
•
한계점: 제안된 방법은 근거 모델의 성능에 의존적이며, 근거 모델 자체의 불확실성을 완전히 제거하지 못할 수 있습니다. 다양한 다중 모달 LLM과 작업에 대한 일반화 성능에 대한 추가적인 연구가 필요합니다. 특정 다중 모달 모델에 최적화된 하이퍼파라미터 조정이 필요할 수 있습니다.
