Verbalizing LLM's Higher-order Uncertainty via Imprecise Probabilities

Created by

Haebom

저자

Anita Yang, Krikamol Muandet, Michele Caprio, Siu Lun Chau, Masaki Adachi

💡 개요

본 논문은 기존 확률론 기반의 불확실성 추출 기법이 대규모 언어 모델(LLM)의 불확실성을 제대로 포착하지 못하는 문제를 해결하고자 합니다. 이를 위해 '부정확도 확률(imprecise probabilities)'이라는 원칙적 틀을 기반으로 한 새로운 프롬프트 기반 불확실성 추출 기법을 제안합니다. 제안된 방법은 응답 가능한 첫 번째 수준의 불확실성뿐만 아니라, 확률 모델 자체의 불확정성을 나타내는 두 번째 수준의 불확실성(불확실성에 대한 불확실성)까지 정량화할 수 있습니다.

🔑 시사점 및 한계

•

LLM의 불확실성을 더 정확하고 신뢰성 있게 보고할 수 있게 하여, 다운스트림 의사결정을 지원합니다.

•

모호한 질의응답, 인컨텍스트 학습, 자기 성찰과 같은 복잡한 상황에서 LLM의 성능과 신뢰도를 향상시킬 수 있습니다.

•

제안된 부정확도 확률 기반 기법의 실제 적용 가능성과 다양한 LLM 아키텍처에 대한 일반화 성능을 추가적으로 검증할 필요가 있습니다.

PDF 보기

Made with Slashpage