본 논문은 다음 토큰 예측으로만 학습된 대규모 언어 모델(LLM)이 수학적 추론을 포함한 광범위한 문제를 해결하는 능력을 분석합니다. 특히, 여러 개방형 가중치 LLM의 수학적 추론 능력이 사전 학습 및 사후 학습 중에 어떻게 발전하는지 최초로 분석합니다. 이를 위해, K~8학년 공통 핵심 교육과정에서 가져온 44가지 세분화된 기술을 기반으로 하는 새로운 수학적 추론 문제의 합성 데이터 세트인 MathCAMPS를 구성했습니다. 사전 학습 중 수학적 기술이 학습되는 순서가, 훈련 데이터가 무작위로 정렬되었음에도 불구하고, 인간이 설계한 교육과정과 측정 가능하게 상관관계가 있음을 보여줍니다. 또한, 널리 사용되는 사후 학습 방법인 지시 조정(instruction tuning)으로부터 어떤 수학적 능력이 이점을 얻는지, 그리고 대조적으로 어떤 기술이 손해를 보는지에 대한 자세한 분석을 제시합니다. 본 연구는 추론과 관련된 LLM 훈련 역학에 대한 경험적 이해를 위한 길을 열어줍니다.
