# Uncertainty Quantification for Language Models: A Suite of Black-Box, White-Box, LLM Judge, and Ensemble Scorers

### 저자

Dylan Bouchard, Mohit Singh Chauhan

### 개요

본 논문은 대규모 언어 모델(LLM)의 환각(hallucination) 문제 해결을 위한 다용도 제로-리소스 환각 탐지 프레임워크를 제안한다.  블랙박스 및 화이트박스 불확실성 정량화(UQ) 기법과 LLM-as-a-Judge 기법을 활용하여 표준화된 0~1 사이의 신뢰도 점수를 산출한다.  다양한 신뢰도 점수를 조합할 수 있는 조정 가능한 앙상블 접근 방식을 통해 특정 사용 사례에 맞춰 성능을 최적화할 수 있도록 한다.  Python 툴킷 UQLM을 제공하여 구현을 간소화하며, 여러 LLM 질의응답 벤치마크를 사용한 실험을 통해 제안된 앙상블이 개별 구성 요소 및 기존 환각 탐지 방법보다 우수한 성능을 보임을 확인한다.

### 시사점, 한계점

- **시사점:**

    - 제로-리소스 환경에서 다양한 UQ 기법을 활용한 실용적인 환각 탐지 프레임워크 제공

    - 사용자 정의 가능한 앙상블 접근 방식을 통해 특정 사용 사례에 최적화된 성능 달성 가능

    - 제공된 Python 툴킷 UQLM을 통해 간편한 구현 및 사용 가능

    - 기존 방법보다 우수한 환각 탐지 성능을 보임

    - 의료 및 금융 등 고위험 분야에서 LLM의 신뢰성 향상에 기여

- **한계점:**

    - 제안된 프레임워크의 성능은 사용되는 UQ 기법 및 앙상블 구성에 따라 달라질 수 있음. 최적의 조합을 찾는 것은 추가적인 노력을 필요로 할 수 있음.

    - 특정 유형의 환각에 대해서는 성능이 저하될 가능성 존재.  다양한 유형의 환각에 대한 포괄적인 평가가 필요.

    - 제공된 Python 툴킷의 지속적인 유지 보수 및 업데이트가 필요.

[PDF 보기](https://arxiv.org/pdf/2504.19254)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).