본 논문은 대규모 언어 모델(LLM)의 수학적 추론 능력 향상을 위한 새로운 방법을 제시합니다. 기존의 문제 재구성을 통한 데이터셋 합성 방식의 한계(생성 품질 및 문제 복잡도)를 극복하기 위해, 문제 해결 코드에서 구조적 정보를 추출하여 구조화된 솔루션으로 데이터 생성을 유도하는 접근 방식을 제안합니다. MATH 및 GSM8K 데이터셋에 적용하여 중간 단계가 표시된 39,000개의 문제와 더 높은 난이도의 6,100개 문제 벤치마크를 생성했습니다. 실험 결과, 추론 길이가 증가함에 따라 모델 성능이 저하되는 것을 확인하였고, 제안된 데이터셋을 사용한 미세 조정 실험을 통해 데이터셋의 효과를 검증했습니다. 제안된 방법과 데이터셋이 LLM의 추론 능력 향상 연구에 기여할 것으로 기대하며, 코드와 데이터는 공개적으로 제공합니다.
