본 논문은 대규모 언어 모델(LLM)의 불확실성 추정에서 테스트 시간 샘플링을 제거하는 방법을 제시합니다. 기존 베이지안 방법들은 추론 과정에서 다중 샘플링 반복을 필요로 하여 효율성 문제를 야기하지만, 본 논문에서는 사전 훈련된 베이지안 LLM의 신뢰도를 비베이지안 학생 LLM에 증류하는 기법을 제안합니다. 이는 예측 분포 간의 divergence를 최소화하는 방식으로 이루어지며, 추가적인 검증 데이터 없이 훈련 데이터만을 사용합니다. 이를 통해 기존 베이지안 LLM 대비 N배(N은 기존 베이지안 LLM이 필요로 하는 샘플 수) 더 효율적인 불확실성 추정을 달성하며, 훈련 데이터에서의 불확실성 추정 능력이 테스트 데이터로 일반화됨을 실험적으로 보여줍니다.
