この論文は、大規模言語モデル（LLM）の推論能力を向上させるための知識蒸留プロセスで、蒸留モデルが元のモデルの推論プロセスに現れる表面的なスタイルパターンをどの程度学習するかを調べます。この目的のために、成功した推論プロセスの構造的および語彙的パターンを分析し、2つの新しい推論トレースデータセット（emergent reasoning tracesとスタイルパターンを人工的に複製したシンセティックデータセット）を提示し、蒸留モデルの推論能力に与える影響を正確に分析します。実験結果は、合成データセットで学習されたモデルが同様の性能を達成し、蒸留された推論能力が表面的なスタイルパターンに大きく依存することを示しています。驚くべきことに、誤った答えを導くように合成トレースを変更した場合でも性能が向上する現象を観察した。これは、様々なモデル系列におけるLLMの推論能力を効率的に改善するためにスタイルパターンを利用できることを示唆している。
