본 연구는 0.5 billion parameter Small Reasoning Language Models (SRLMs)의 성능 향상을 위한 연구를 진행했다. SRLMs는 계산 효율성과 비용 효율성이 뛰어나지만, 0.5 billion parameter 모델의 제한된 용량으로 인해 복잡한 작업, 특히 수학적 추론에 어려움을 겪는다. 본 연구는 Supervised Fine-tuning (SFT), Knowledge Distillation (KD), Reinforcement Learning (RL), 그리고 하이브리드 구현을 포함한 다양한 훈련 전략을 조사하여 SRLMs의 성능을 향상시키고자 했다. 더불어, SRLMs와 더 큰 모델 간의 성능 격차를 줄이기 위한 효과적인 방법론을 분석하고, 작은 아키텍처에 최적화된 훈련 파이프라인에 대한 통찰력을 제시하고자 했다.
