Gradients with Respect to Semantics Preserving Embeddings Tell the Uncertainty of Large Language Models
Author
- Haebom
Category
Empty
저자
Mingda Li, Rundong Lv, Xinyu Li, Weinan Zhang, Ting Liu
💡 개요
본 논문은 대규모 언어 모델(LLM)의 신뢰성을 높이기 위해 불확실성 정량화(UQ) 방법을 제안합니다. 기존 샘플링 기반 UQ 방식의 높은 계산 비용과 분산을 해결하기 위해, 의미론적으로 동등한 입력 변화에 대한 출력 분포의 안정성을 기반으로 하는 최초의 그래디언트 기반 UQ 방법인 SemGrad를 개발했습니다. SemGrad는 의미론적 공간에서의 그래디언트를 활용하며, 특히 여러 정답이 가능한 상황에서 효율적이고 효과적인 불확실성 추정 성능을 보입니다.
🔑 시사점 및 한계
•
그래디언트 기반 UQ 방법론을 매개변수 공간이 아닌 의미론적 공간으로 확장하여, LLM의 불확실성을 효율적으로 측정할 수 있는 새로운 접근 방식을 제시했습니다.
•
SemGrad와 HybridGrad는 샘플링 방식 대비 계산 효율성과 성능을 크게 개선하며, 특히 모호하거나 다수의 정답이 가능한 생성 작업에서 뛰어난 UQ 성능을 보여줍니다.
•
의미론적 보존이 잘 되는 임베딩을 효과적으로 식별하고 선택하는 'Semantic Preservation Score (SPS)'를 도입하여 그래디언트 계산의 정확성을 높였습니다.
•
제안된 방법론의 일반화 성능 및 다양한 LLM 아키텍처에 대한 적용 가능성은 추가적인 연구가 필요합니다.
