본 논문은 언어 모델(LMs)의 이론적 마음(ToM) 과제 수행 능력 평가에 대한 증가하는 관심에도 불구하고, LMs가 자기 자신과 타인의 정신 상태를 내부적으로 어떻게 표현하는지에 대해서는 거의 알려지지 않았다는 점을 지적합니다. 본 연구는 다양한 규모, 훈련 방식, 프롬프트를 사용하여 제어 과제를 통해 혼란 요소를 배제하고, LMs에서 신념 표상에 대한 최초의 체계적인 조사를 제시합니다. 실험 결과, 모델 크기와 미세 조정은 타인의 신념에 대한 LMs의 내부 표상을 상당히 향상시키는 것으로 나타났으며, 이러한 표상은 단순한 허위 상관관계의 부산물이 아니라 구조화되어 있지만, 프롬프트 변화에는 취약하다는 것을 보여줍니다. 특히, 이러한 표상은 강화될 수 있으며, 모델 활성화에 대한 표적 편집을 통해 잘못된 ToM 추론을 수정할 수 있음을 보여줍니다.
