본 논문은 대규모 언어 모델(LLM)의 훈련 과정에서 나타나는 돌연한 능력 발현, 즉 상전이 현상에 대한 통합적 분석을 제시합니다. LLM과 인간 뇌의 유사성, LLM의 내부 상태, 그리고 하위 작업 성능이라는 세 가지 관점을 고려하여 분석을 진행합니다. 다양한 훈련 데이터와 아키텍처를 가진 LLM의 학습 역동성에 대한 새로운 해석을 제시하며, 세 가지 상전이를 발견합니다. 첫 번째는 LLM이 작업 지시를 따르기 시작하면서 뇌와의 정렬이 증가하는 단계(뇌 정렬 및 지시 따르기)입니다. 두 번째는 하위 작업 정확도가 일시적으로 정체되는 동안 LLM이 뇌와의 차이를 보이는 단계(뇌 분리 및 정체)입니다. 마지막으로 LLM이 하위 작업을 해결할 수 있게 되면서 뇌와의 정렬이 다시 나타나는 단계(뇌 재정렬 및 통합)입니다. 이러한 발견은 LLM의 상전이 기저 메커니즘을 밝히고, AI와 신경과학을 연결하는 학제 간 연구의 새로운 길을 열어줍니다.
