본 논문은 대규모 언어 모델(LLM) 내부에서 특정 뉴런, 어텐션 헤드, 회로가 구문 구조에 선택적으로 민감해지는 내부 전문화 현상이 어떻게 발생하고 발달하는지에 대한 연구를 수행했습니다. 시간에 따른 내부 구문 일관성을 정량화하여 구문 민감도가 점진적으로 나타나고 특정 계층에 집중되며, 빠른 내부 전문화의 '결정적 시기'를 보이는 발달 경로를 확인했습니다. 이 과정은 아키텍처와 초기화 매개변수에 관계없이 일관되게 나타나며, 모델 규모와 훈련 데이터의 영향을 받습니다. 따라서 본 연구는 LLM에서 구문이 어디에서 발생하는지뿐만 아니라 일부 모델이 훈련 중에 구문을 어떻게 내면화하는지 밝힙니다. 향후 연구를 지원하기 위해 코드, 모델 및 훈련 체크포인트를 공개할 예정입니다.
