A Survey on Uncertainty Quantification of Large Language Models: Taxonomy, Open Research Challenges, and Future Directions
Created by
Haebom
저자
Ola Shorinwa, Zhiting Mei, Justin Lidard, Allen Z. Ren, Anirudha Majumdar
개요
본 논문은 대규모 언어 모델(LLM)의 신뢰성과 신뢰도에 대한 우려를 다룹니다. 특히, LLM이 사실과 다른 응답(hallucination)을 자신감 있게 생성하는 경향에 초점을 맞춥니다. 논문은 LLM의 불확실성을 정량화하는 기존 방법들을 광범위하게 검토하고, 이러한 방법들의 특징, 강점, 약점을 분석합니다. 다양한 방법들을 체계적으로 분류하고, 챗봇, 텍스트 애플리케이션, 로보틱스 분야의 응용 사례를 제시합니다. 마지막으로, LLM의 불확실성 정량화에 대한 향후 연구 과제를 제시합니다.
시사점, 한계점
•
시사점:
◦
LLM의 불확실성 정량화 방법에 대한 포괄적인 검토를 제공합니다.
◦
기존 방법들을 체계적으로 분류하여 이해도를 높입니다.
◦
다양한 응용 분야에서의 불확실성 정량화 방법의 활용 사례를 보여줍니다.
◦
향후 연구 방향을 제시하여 LLM의 신뢰성 향상에 기여할 수 있습니다.
•
한계점:
◦
본 논문은 기존 연구의 종합적인 검토에 초점을 맞추고 있어, 새로운 방법론을 제시하지는 않습니다.
