본 논문은 인공지능(AI) 추론 능력의 핵심인 문제 해결을 위해 딥러닝 모델이 학습한 추론 패턴을 더 어려운 문제와 더 긴 연쇄적 사고(CoT)에 적용할 수 있는지에 대한 연구를 제시합니다. 특히, 변압기(transformer) 모델이 합성 상태 추적 작업에서 기울기 하강법을 통해 학습하는 것을 이론적으로 분석합니다. 본 논문은 상태 추적 문제의 대수적 구조가 학습된 CoT의 일반화 정도를 어떻게 지배하는지 수학적으로 증명합니다. 또한, 제한된 추론 길이를 가진 변압기의 경우, 재귀적 자기 훈련 방식을 통해 해결 가능한 문제 길이를 점진적으로 확장할 수 있음을 증명합니다.
