본 논문은 사전 훈련된 대규모 언어 모델(LLM)이 불확실성을 어떻게 포착하는지 연구합니다. LLM이 명시적으로 불확실성을 학습하지 않았음에도 불구하고, 모델의 잠재 공간에서 불확실성을 선형 개념으로 간주할 경우 불확실성을 포착할 수 있음을 보여줍니다. 또한, 직관적이지는 않지만 LLM이 여러 유형의 불확실성을 포착하며, 각 유형은 특정 작업이나 벤치마크의 정확성 예측에 유용할 수 있음을 밝힙니다. 추가적으로, 정확성 예측과 오류 회피 능력 간의 상관관계, 모델 확장의 불확실성 포착에 대한 영향 부재 등을 보여주는 심층적인 결과를 제공합니다. 마지막으로, 지시어 미세 조정 또는 [IDK] 토큰 미세 조정을 통해 불확실성 유형을 통합하는 것이 모델의 정확성 예측에 도움이 된다고 주장합니다.
