Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios
작성자
- Haebom
카테고리
Empty
저자
Yunkai Dang, Mengxi Gao, Yibo Yan, Xin Zou, Yanggan Gu, Jungang Li, Jingyu Wang, Peijie Jiang, Aiwei Liu, Jia Liu, Xuming Hu
개요
본 논문은 다중 모달 대규모 언어 모델(MLLMs)의 오류 취약성, 특히 잘못된 정보에 대한 반응 불확실성 현상을 탐구한다. 연구진은 9개의 표준 데이터셋과 12개의 최첨단 오픈소스 MLLM을 사용하여, 단일의 오해의 소지가 있는 단서가 주어졌을 때 이전에 정답이었던 답변을 뒤집는 비율이 65%에 달함을 밝혔다. 이를 정량적으로 분석하기 위해, 두 단계 평가 파이프라인 (원래 응답 확인 및 오해의 소지가 있는 지시어 주입 후 오류율 측정)을 제시하고, 오류율이 높은 예시들을 모아 다중 모달 불확실성 벤치마크(MUB)를 제작하였다. 12개의 오픈소스 및 5개의 클로즈드소스 모델에 대한 광범위한 평가 결과, 평균 오류율은 86%를 초과하며, 명시적 단서의 경우 67.19%, 암시적 단서의 경우 80.67%를 넘었다. 마지막으로, 2000개의 샘플로 구성된 혼합 지시어 데이터셋으로 오픈소스 MLLM들을 미세 조정하여 오류율을 크게 감소시켰다 (명시적 단서의 경우 6.97%, 암시적 단서의 경우 32.77%).
시사점, 한계점
•
시사점:
◦
MLLM의 오류 취약성 및 잘못된 정보에 대한 반응 불확실성을 체계적으로 규명하였다.
◦
MLLM의 신뢰성 향상을 위한 새로운 벤치마크(MUB)를 제시하였다.
◦
미세 조정을 통해 MLLM의 오류율을 상당히 감소시킬 수 있음을 보였다.
◦
다양한 유형의 오해의 소지가 있는 정보에 대한 MLLM의 취약성을 분석하고 이를 완화하는 방안을 제시함으로써, 실제 응용 분야에서 MLLM의 안전성과 신뢰성 향상에 기여할 수 있다.
•
한계점:
◦
현재 벤치마크와 미세조정 데이터셋은 특정 유형의 오류에 집중되어 있어, 다른 유형의 오류에 대한 일반화 가능성은 제한적일 수 있다.
◦
미세 조정 후에도 암시적 단서에 대한 오류율은 여전히 상당히 높다.
◦
사용된 모델들이 오픈소스에 국한되어 있어, 상용 모델들에 대한 일반화 가능성은 추가 연구가 필요하다.
◦
오류율 감소를 위한 미세조정 과정에 사용된 데이터셋의 크기가 상대적으로 작다는 점이 한계로 지적될 수 있다.
