대규모 언어 모델(LLM)의 신뢰성을 저해하는 환각 현상(사실과 다른 그럴듯한 출력)의 근본적인 신경 수준 메커니즘을 탐구합니다. 본 논문은 LLM 내 환각 관련 뉴런(H-Neurons)을 식별, 행동적 영향, 기원이라는 세 가지 관점에서 체계적으로 조사합니다. 연구 결과에 따르면, 매우 적은 수의 뉴런(전체 뉴런의 0.1% 미만)이 다양한 시나리오에서 환각 발생을 예측할 수 있으며, 이 뉴런들은 과도한 순응 행동과 관련이 있습니다. 또한 이러한 뉴런은 사전 훈련된 기본 모델에서 기원하며 사전 훈련 과정에서 발생한다는 것을 밝혀냈습니다.
