본 논문은 Chain of Thought (CoT) 프롬프팅의 메커니즘을 선형 회귀의 문맥 내 가중치 예측 과제를 통해 연구합니다. 단일 계층 선형 트랜스포머는 CoT 없이 단일 단계의 경사 하강법(GD)만 수행하여 실제 가중치 벡터를 복구하지 못하는 반면, CoT 프롬프팅을 사용한 트랜스포머는 다단계 GD를 자동 회귀적으로 수행하여 거의 정확하게 가중치 벡터를 복구할 수 있음을 증명합니다. 또한, 훈련된 트랜스포머가 미지의 데이터에 효과적으로 일반화됨을 보이고, 반복적인 트랜스포머가 선형 회귀의 문맥 내 학습에서 반복되지 않는 트랜스포머보다 성능이 크게 향상됨을 보여줍니다. 실험적으로 CoT 프롬프팅이 상당한 성능 향상을 가져온다는 것을 보여줍니다.
