본 논문은 대규모 언어 모델(LLM)의 신뢰성 향상을 위해 불확실성 정량화에 초점을 맞춘 연구입니다. 기존 연구들이 단일 정답 질문에 대해서만 불확실성 정량화 방법을 평가했던 한계를 지적하며, 사용자 질의에 존재하는 다양한 가능한 답변으로 인한 데이터 불확실성을 고려하지 않았다는 점을 문제 삼습니다. 따라서 본 논문에서는 데이터 불확실성이 존재하는 환경에서 기존의 불확실성 정량화 방법들을 평가하고자 합니다. 세계 지식, 수학적 추론, 상식 추론 과제로 구성된 새로운 다중 답변 질문 답변 데이터셋(MAQA)을 제시하고, 다양한 백색 및 흑색 상자 LLM의 5가지 불확실성 정량화 방법을 평가합니다. 결과적으로 기존 방법들이 단일 답변 설정에 비해 상대적으로 어려움을 겪는다는 것을 보여주지만, 과제에 따라 다르게 나타남을 확인하고, 엔트로피 및 일관성 기반 방법이 데이터 불확실성이 존재하는 경우에도 모델 불확실성을 효과적으로 추정한다는 것을 발견합니다.
