본 논문은 대규모 언어 모델(LLM)의 인간과 유사한 추론 능력이 고정된 매개변수 시스템의 유연성에 대한 기존 신경망 이론의 이해에 도전하는 점을 다룹니다. "인지 활성화" 이론을 제시하여 동적 시스템의 관점에서 LLM의 추론 메커니즘의 본질을 밝힙니다. LLM의 추론 능력은 매개변수 공간에서 동적 정보 추출의 혼돈 과정에서 비롯된다는 것입니다. 준-랴푸노프 지수(QLE)를 도입하여 다양한 계층에서 모델의 혼돈 특성을 정량적으로 분석하고, 정보 축적이 비선형 지수 법칙을 따르며, 멀티레이어 퍼셉트론(MLP)이 어텐션 메커니즘보다 최종 출력에 더 큰 비중을 차지함을 실험적으로 보여줍니다. 또한, 작은 초기값 변화가 모델의 추론 능력에 상당한 영향을 미친다는 것을 실험적으로 확인하여 LLM이 혼돈 시스템임을 이론적으로 분석합니다. 이 연구는 LLM 추론의 해석 가능성에 대한 혼돈 이론 프레임워크를 제공하고, 모델 설계에서 창의성과 신뢰성의 균형을 맞추는 잠재적인 경로를 제시합니다.
