본 논문은 대규모 언어 모델(LLM)의 추론 능력 향상을 위한 지식 증류 과정에서, 증류된 모델이 원 모델의 추론 과정에서 나타나는 표면적인 스타일 패턴(structural and lexical patterns)을 얼마나 학습하는지 조사합니다. 이를 위해, 성공적인 추론 과정의 구조적, 어휘적 패턴을 분석하고, 새로운 추론 트레이스 데이터셋 두 개(emergent reasoning traces와 스타일 패턴을 인위적으로 복제한 synthetic dataset)을 제시하여 증류된 모델의 추론 능력에 미치는 영향을 정밀하게 분석합니다. 실험 결과, 합성 데이터셋으로 학습된 모델이 유사한 성능을 달성하며, 증류된 추론 능력이 표면적인 스타일 패턴에 크게 의존함을 보여줍니다. 놀랍게도, 잘못된 답을 유도하도록 합성 트레이스를 변경했을 때에도 성능이 향상되는 현상을 관찰했습니다. 이는 다양한 모델 계열에서 LLM의 추론 능력을 효율적으로 향상시키는 데 스타일 패턴을 활용할 수 있음을 시사합니다.
