What Really Improves Mathematical Reasoning: Structured Reasoning Signals Beyond Pure Code

작성자

Haebom

카테고리

Empty

저자

Yuze Zhao, Junpeng Fang, Lu Yu, Zhenya Huang, Kai Zhang, Qing Cui, Qi Liu, Jun Zhou, Enhong Chen

💡 개요

본 연구는 코드 학습이 언어 모델의 일반적인 추론 능력을 향상시킨다는 주장을 검증하기 위해 제어된 사전 학습 실험을 수행했습니다. 실험 결과, 코드는 프로그래밍 능력 향상에는 기여하지만, 수학적 추론과 같은 지식 집약적 작업에서는 오히려 경쟁 관계를 형성하는 것으로 나타났습니다. 코드 자체보다는 코드-텍스트 및 수학-텍스트 혼합과 같은 구조화된 추론 데이터가 실제 추론 능력 향상에 더 효과적인 것으로 밝혀졌습니다.

🔑 시사점 및 한계

•

코드 자체보다는 구조화된 추론 데이터(코드-텍스트, 수학-텍스트 혼합 등)가 언어 모델의 수학적 추론 능력을 향상시키는 데 더 효과적입니다.

•

수학 영역의 구조화된 샘플 밀도를 높이는 것이 수학 추론 능력 향상에 유의미한 영향을 미치며, 프로그래밍 성능은 유지됩니다.

•

데이터 구성 효과는 모델의 뉴럴 액티베이션 패턴에 반영되어, 도메인 간 상호작용의 메커니즘적 이해를 돕습니다.

•

연구에서 사용된 데이터셋의 구성 및 모델의 특정 아키텍처에 따른 결과이며, 다른 유형의 데이터나 모델에서는 다른 결과가 나타날 수 있습니다.

PDF 보기

Made with Slashpage