본 논문은 대규모 언어 모델(LLM)의 출현 능력을 설명하기 위한 이론적 틀을 제시한다. 연구진은 LLM이 비에르고딕 시스템임을 증명하고, 스튜어트 카우프만의 인접 가능성 이론(TAP)에 기반한 수학적 틀을 제공하여 능력의 출현을 설명한다. 자원 제약이 있는 TAP 방정식을 통해 아키텍처, 훈련 및 맥락적 제약이 어떻게 상호 작용하여 의미 공간에서 상전이를 통해 모델의 기능을 형성하는지 보여준다. 세 가지 다른 LLM을 사용한 실험을 통해 제약 상호 작용과 경로 의존적 탐색에 의해 안내되는 불연속 전이를 통해 기능이 출현함을 증명한다. 이 틀은 LLM에서의 출현을 이해하기 위한 이론적 기반을 제공하고, 기능 출현을 안내할 수 있는 아키텍처 개발을 안내한다.
