본 논문은 대규모 언어 모델의 수학 문제 해결 능력 향상을 위해 올림피아드 수준의 고난도 수학 문제를 자동 생성하는 새로운 방법인 PromptCoT를 제시한다. PromptCoT는 수학 개념과 문제 구성의 이유를 바탕으로 복잡한 문제를 생성하며, 경험 많은 문제 제작자의 사고 과정을 모방한다. 이론적 분석을 통해 최적의 이유는 개념을 고려한 이유 생성 확률과 이유와 개념을 고려한 문제 생성 확률을 모두 극대화해야 함을 보여준다. GSM8K, MATH-500, AIME2024 등의 기준 벤치마크에서 기존 문제 생성 방법보다 우수한 성능을 보이며, 데이터 확장성 측면에서도 뛰어난 성능을 유지한다. 구현 코드는 깃허브에 공개되어 있다.