Uncertainty Quantification for Language Models: A Suite of Black-Box, White-Box, LLM Judge, and Ensemble Scorers
Created by
- Haebom
Category
Empty
저자
Dylan Bouchard, Mohit Singh Chauhan
개요
본 논문은 대규모 언어 모델(LLM)의 환각(hallucination) 문제 해결을 위한 다용도 제로-리소스 환각 탐지 프레임워크를 제안한다. 블랙박스 및 화이트박스 불확실성 정량화(UQ) 기법과 LLM-as-a-Judge 기법을 활용하여 표준화된 0~1 사이의 신뢰도 점수를 산출한다. 다양한 신뢰도 점수를 조합할 수 있는 조정 가능한 앙상블 접근 방식을 통해 특정 사용 사례에 맞춰 성능을 최적화할 수 있도록 한다. Python 툴킷 UQLM을 제공하여 구현을 간소화하며, 여러 LLM 질의응답 벤치마크를 사용한 실험을 통해 제안된 앙상블이 개별 구성 요소 및 기존 환각 탐지 방법보다 우수한 성능을 보임을 확인한다.
시사점, 한계점
•
시사점:
◦
제로-리소스 환경에서 다양한 UQ 기법을 활용한 실용적인 환각 탐지 프레임워크 제공
◦
사용자 정의 가능한 앙상블 접근 방식을 통해 특정 사용 사례에 최적화된 성능 달성 가능
◦
제공된 Python 툴킷 UQLM을 통해 간편한 구현 및 사용 가능
◦
기존 방법보다 우수한 환각 탐지 성능을 보임
◦
의료 및 금융 등 고위험 분야에서 LLM의 신뢰성 향상에 기여
•
한계점:
◦
제안된 프레임워크의 성능은 사용되는 UQ 기법 및 앙상블 구성에 따라 달라질 수 있음. 최적의 조합을 찾는 것은 추가적인 노력을 필요로 할 수 있음.
◦
특정 유형의 환각에 대해서는 성능이 저하될 가능성 존재. 다양한 유형의 환각에 대한 포괄적인 평가가 필요.
◦
제공된 Python 툴킷의 지속적인 유지 보수 및 업데이트가 필요.
