본 논문은 대규모 언어 모델(LLM)에서 이론적 마음(ToM) 능력의 출현을 기계론적 관점에서 조사하며, 매우 희소한 매개변수 패턴의 역할에 초점을 맞춥니다. ToM에 민감한 매개변수를 식별하는 새로운 방법을 제시하고, 이 매개변수의 0.001%만 변경해도 ToM 성능이 크게 저하되고 문맥적 위치 파악 및 언어 이해력도 손상됨을 보여줍니다. 이러한 효과를 이해하기 위해 LLM의 핵심 아키텍처 구성 요소와의 상호 작용을 분석합니다. 결과적으로, 이러한 민감한 매개변수는 특히 회전 위치 임베딩(RoPE)을 사용하는 모델에서 위치 인코딩 모듈과 밀접하게 연결되어 있으며, 변경 시 문맥 처리에 중요한 우세 주파수 활성화를 방해함을 보여줍니다. 또한 ToM에 민감한 매개변수를 변경하면 위치 인코딩 하에서 질의와 키 사이의 각도를 조절하여 LLM의 어텐션 메커니즘에 영향을 미침을 보여줍니다. 이러한 통찰력은 LLM이 사회적 추론 능력을 습득하는 방법에 대한 더 깊은 이해를 제공하며, AI 해석성과 인지 과학을 연결합니다. 본 연구 결과는 모델 정렬 향상, 편향 완화, 인간 상호 작용을 위해 설계된 AI 시스템 개선에 시사점을 제공합니다.
