Language Model Probabilities are Not Calibrated in Numeric Contexts
Created by
- Haebom
Category
Empty
저자
Charles Lovering, Michael Krumdick, Viet Dac Lai, Seth Ebner, Nilesh Kumar, Varshini Reddy, Rik Koncel-Kedziorski, Chris Tanner
개요
본 논문은 언어 모델(LM)의 출력 확률이 텍스트 내의 수치 정보와 얼마나 잘 맞는지(calibration)를 평가합니다. 특히, 주어진 문맥에서 여러 가능한 연속(continuation)을 가진 문장에 대해, LM이 각 연속의 확률을 실제 발생 확률에 맞춰 예측하는지 검증합니다. 예를 들어, 동전 던지기 결과를 예측하는 경우, 공정한 동전이라면 LM은 앞면과 뒷면에 동일한 확률을 할당해야 합니다. 그러나 실험 결과, 최신 LM들(GPT-4-0-mini, Llama-3.1-8B 등)은 단순한 설정에서도 잘못된 확률을 할당하고(poorly calibrated), 단어의 순서, 빈도 등과 같은 인공적인 요소(artifacts)에 의해 체계적인 편향을 보이는 것으로 나타났습니다.
시사점, 한계점
•
시사점: 최신 대규모 언어 모델의 출력 확률이 수치적 정보를 제대로 반영하지 못하고 있으며, 체계적인 편향을 가지고 있음을 보여줍니다. 이는 LM의 신뢰성에 대한 심각한 문제점을 제기합니다. LM의 출력 확률을 신뢰하기 전에 면밀한 검증이 필요함을 시사합니다.
•
한계점: 본 연구는 비교적 단순한 설정에서만 실험을 수행하였습니다. 더 복잡하고 현실적인 상황에서도 동일한 결과가 나타날지는 추가 연구가 필요합니다. 또한, 다양한 LM 아키텍처와 크기의 모델에 대한 포괄적인 분석이 필요합니다.
