본 논문은 대규모 언어 모델(LLM)의 놀라운 생성 능력이 명시적인 훈련 없이 예상치 못하게 나타나는 현상에 대한 근본적인 질문을 제기하며, 심층 신경망(DNN)의 출현 특성을 이론적 분석과 실험적 관찰을 통해 조사합니다. 특히, 현대 AI 개발의 특징인 "이해 없이 창조하는 것"이라는 인식론적 문제를 다룹니다. 비선형적이고 확률적인 신경망 접근 방식이 기호 계산 패러다임과 근본적으로 다른 점을 강조하며, 거시적 수준의 행동을 미시적 수준의 뉴런 활동으로 분석적으로 도출할 수 없는 시스템을 생성하는 과정을 탐구합니다. 스케일링 법칙, 그로킹 현상, 모델 기능의 상전이 분석을 통해, 출현 능력이 단순히 매개변수 스케일링이 아닌 고도로 민감한 비선형 시스템의 복잡한 역동성에서 발생한다는 것을 보여줍니다. 현재의 지표, 사전 훈련 손실 임계값, 문맥 내 학습에 대한 논의가 DNN의 출현의 근본적인 존재론적 본질을 놓치고 있다고 주장하며, DNN이 물리학, 화학, 생물학에서 작동하는 것과 유사한 출현의 보편적인 원리에 따라 지배되는 새로운 복잡한 동역학 시스템 영역을 나타낸다고 결론짓습니다. 이러한 관점은 출현의 순전히 현상학적 정의에서 개별 구성 요소를 넘어서는 기능을 얻을 수 있도록 하는 내부 동적 변환을 이해하는 것으로 초점을 전환합니다.
