본 논문은 대규모 언어 모델(LLM)의 수학적 추론 능력 향상을 위한 효과적인 사전 학습 전략을 연구합니다. 기존의 수학 관련 LLM들은 일반적인 수학 코퍼스와 문제 풀이 데이터셋을 사용하는 2단계 학습 방식(사전 학습 및 지도 학습 미세 조정)을 따르지만, 사전 학습의 효과가 미세 조정에 비해 상대적으로 낮다는 점에 착안하여, 사전 학습 단계에서 문제 풀이 데이터의 활용 가능성을 중점적으로 연구합니다. 세 가지 연구 질문 (1) 문제 풀이 데이터가 일반 수학 코퍼스보다 사전 학습에 더 효과적인가? (2) 동일한 출처의 합성 데이터는 얼마나 효과적이며, 어떤 합성 방법이 가장 효율적인가? (3) 동일한 문제 풀이 데이터를 사용한 사전 학습과 미세 조정 단계에서의 성능 차이는 무엇이며, 그 원인은 무엇인가? 에 대한 답을 찾기 위해 실험을 진행하고, 문제 풀이 데이터 기반 사전 학습이 모델의 수학적 추론 능력을 향상시키며, 특히 'tutorship amplification' 합성 방법이 효과적임을 밝힙니다. 또한, 미세 조정은 지시 사항 따르는 능력은 향상시키지만, 어려운 문제 풀이 데이터에 대한 학습 능력이 낮아 사전 학습보다 성능이 떨어지는 현상을 발견하고, 이를 바탕으로 강력한 수학 기반 모델 MathGPT-8B를 개발했습니다.
