Dans cet article, nous étudions dans quelle mesure le modèle distillé apprend les schémas stylistiques superficiels (schémas structurels et lexicaux) qui apparaissent dans le processus de raisonnement du modèle original lors de la distillation des connaissances afin d'améliorer la capacité de raisonnement d'un modèle de langage à grande échelle (MLL). À cette fin, nous analysons les schémas structurels et lexicaux des processus de raisonnement réussis et présentons deux nouveaux jeux de données de traces de raisonnement (traces de raisonnement émergentes et un jeu de données synthétiques reproduisant artificiellement les schémas stylistiques) afin d'analyser précisément leurs effets sur la capacité de raisonnement du modèle distillé. Les résultats expérimentaux montrent que les modèles entraînés sur les jeux de données synthétiques atteignent des performances similaires, ce qui montre que la capacité de raisonnement distillé repose fortement sur les schémas stylistiques superficiels. Étonnamment, nous observons que les performances sont améliorées même lorsque les traces synthétiques sont modifiées pour conduire à des réponses incorrectes. Cela suggère que les schémas stylistiques peuvent être utilisés pour améliorer efficacement la capacité de raisonnement des LLM dans divers modèles.
