Sign In

Uncertainty-Aware Fusion: An Ensemble Framework for Mitigating Hallucinations in Large Language Models

Created by
  • Haebom
Category
Empty

저자

Prasenjit Dey, Srujana Merugu, Sivaramakrishnan Kaveri

개요

본 논문은 대규모 언어 모델(LLM)의 환각(hallucination) 문제 해결을 위한 새로운 방법인 불확실성 인식 융합(UAF) 프레임워크를 제안한다. 기존의 환각 완화 방법들은 추가적인 훈련 데이터와 높은 구현 복잡성을 요구하는 반면, UAF는 여러 LLM의 정확도와 자기 평가 능력을 바탕으로 전략적으로 결과를 결합하여 환각을 줄인다. 특히, 각 LLM의 정확도와 불확실성 추정 능력의 차이를 활용하여, 특정 상황에 강점을 가진 모델의 결과를 우선적으로 반영한다. 여러 공개 벤치마크 데이터셋에 대한 실험 결과, UAF는 기존 최첨단 환각 완화 방법보다 사실 정확도를 8% 향상시켰으며, GPT-4와의 성능 차이를 줄이거나 능가하는 결과를 보였다.

시사점, 한계점

시사점:
LLM의 불확실성 추정 능력을 활용하여 환각 문제를 효과적으로 완화할 수 있음을 보여줌.
다양한 LLM의 강점을 결합하여 성능을 향상시키는 새로운 앙상블 프레임워크를 제시.
기존 방법보다 향상된 사실 정확도를 달성.
GPT-4와의 성능 격차를 줄이거나 넘어서는 결과를 도출.
한계점:
제안된 방법의 일반화 성능에 대한 추가적인 연구 필요.
다양한 유형의 질문과 데이터셋에 대한 추가적인 실험 필요.
UAF 프레임워크의 계산 비용 및 복잡도에 대한 분석 필요.
👍