TokUR: Token-Level Uncertainty Estimation for Large Language Model Reasoning

Created by

Haebom

저자

Tunyu Zhang, Haizhou Shi, Yibin Wang, Hengyi Wang, Xiaoxiao He, Zhuowei Li, Haoxian Chen, Ligong Han, Kai Xu, Huan Zhang, Dimitris Metaxas, Hao Wang

💡 개요

본 논문은 대규모 언어 모델(LLM)의 추론 과정에서 답변의 신뢰성을 평가하고 개선하기 위한 "TokUR"이라는 토큰 수준 불확실성 추정 프레임워크를 제안한다. LLM 디코딩 과정에 저랭크 랜덤 가중치 섭동을 도입하여 토큰 수준의 불확실성을 측정하고, 이를 집계하여 응답의 의미론적 불확실성을 파악한다. 실험 결과, TokUR는 정답의 정확성 및 모델 견고성과 높은 상관관계를 보이며, 이를 활용하여 모델의 추론 성능을 향상시킬 수 있음을 입증하였다.

🔑 시사점 및 한계

•

LLM의 복잡한 다단계 추론 과정에서 생성된 응답의 신뢰성을 객관적으로 평가할 수 있는 방법론을 제시하였다.

•

생성된 불확실성 신호는 테스트 시점에서 모델의 추론 성능을 향상시키는 데 효과적으로 활용될 수 있다.

•

제안된 방법론은 수학적 추론과 같이 정답이 명확한 분야에서 LLM의 신뢰성과 해석 가능성을 높이는 데 기여할 수 있다.

•

향후 연구에서는 더 다양한 종류의 추론 작업 및 LLM 아키텍처에 대한 TokUR의 일반화 가능성을 탐색해야 한다.

PDF 보기

Made with Slashpage