본 논문은 대규모 언어 모델(LLM)에 비해 계산 효율성이 높지만 성능이 낮은 소규모 언어 모델(SLM)의 성능 향상을 위해 지식 증류(KD) 기법을 활용하는 연구이다. 특히, Chain-of-Thought (CoT)나 DeepSeek R1과 같은 추론 모델이 생성하는 중간 토큰(추론 과정)을 KD의 학습 신호로 활용하는 기존 연구와 달리, 규칙 기반 문제 분해를 이용한 KD 기법을 제안한다. 이를 통해 오픈북 QA 문제를 분류 단계와 정보 검색 단계로 분해하여 해석 가능하고 정확성을 쉽게 평가할 수 있는 추론 과정을 생성한다. CoTemp QA, Microsoft Machine Reading Comprehension QA, Facebook bAbI QA 데이터셋에서의 실험 결과, 추론 과정의 정확성과 최종 답변의 정확성 간의 상관관계가 낮다는 것을 발견하여, 추론 과정을 이용한 SLM 성능 향상에 대한 기존 가정에 의문을 제기한다.
