본 논문은 대규모 언어 모델(LLM)의 환각(hallucination) 문제, 즉 사실과 다르거나 무관한 출력을 생성하는 문제를 다룹니다. 연구진은 Pythia 모델 시리즈를 사용하여 훈련 역학의 불확실성과 환각 발생 간의 관계를 조사했습니다. 훈련 과정에서 상당한 변동성을 확인하고, 이를 해결하기 위해 변동성이 큰 임베딩 인덱스를 결정적으로 제거하는 새로운 훈련 프로토콜인 Sensitivity Dropout (SenD)를 제안합니다. 또한 기존 EigenScore보다 2배 빠른 비지도 학습 환각 탐지 지표인 Efficient EigenScore (EES)를 개발하여 SenD에 통합했습니다. SenD는 Pythia와 Llama 모델의 테스트 시간 신뢰도를 최대 17% 향상시키고, Wikipedia, 의학, 법률, 코딩 분야에서 사실 정확도를 높이는 동시에 하위 작업 성능에는 영향을 미치지 않았습니다.
