Rewarding Doubt: A Reinforcement Learning Approach to Confidence Calibration of Large Language Models
Created by
Haebom
Category
Empty
저자
Paul Stangel, David Bani-Harouni, Chantal Pellegrini, Ege Ozsoy, Kamilia Zaripova, Matthias Keicher, Nassir Navab
개요
본 논문은 대규모 언어 모델(LLM)의 안전하고 신뢰할 수 있는 사용을 위해, 사실적 질문에 대한 답변의 신뢰도를 정확하게 표현하는 새로운 강화 학습(RL) 기반 방법을 제시합니다. 모델이 각 답변과 함께 신뢰도 점수를 예측하는 베팅 게임으로 문제를 모델링하고, 과신과 과소신 모두를 처벌하는 보상 함수를 설계합니다. 이 보상 함수 설계 하에서 최적 정책은 완벽하게 보정된 신뢰도 추정으로 이어진다는 것을 증명합니다. 실험 결과, 재훈련 없이 새로운 작업에 대한 일반화 능력과 함께 신뢰도 보정이 상당히 향상되었음을 보여주며, 이는 제시된 접근 방식이 일반적인 신뢰도 인식을 학습시킨다는 것을 나타냅니다. 따라서 본 연구는 본질적으로 보정된 LLM을 훈련하는 방법을 제시합니다.
