Wei Du, Branislav Kisacanin, George Armstrong, Shubham Toshniwal, Ivan Moshkov, Alexan Ayrapetyan, Sadegh Mahdavi, Dan Zhao, Shizhe Diao, Dragan Masulovic, Marius Stanean, Advaith Avadhanam, Max Wang, Ashmit Dutta, Shitij Govil, Ananthakrishnan, Vedant Rathi, David Zhang, Joonseok Kang, Leon Luo, Titu Andreescu, Boris Ginsburg, Igor Gitman

概要

この論文では、思考過程（CoT）追跡を活用して、さまざまな複雑な作業で最先端のパフォーマンスを達成する推論可能な言語モデルについて研究します。従来の研究では、強力なモデル（DeepSeek-R1など）からの強化学習や知識蒸留によって基本モデルがこの推論追跡を得ることができたが、微調整せずに短いCoTプロンプトだけで推論性能を向上させることができた。この研究では、プロンプトまたは最小限の微調整のみを使用して基本モデルで長いCoTを誘導できるかどうかを尋ねます。研究者は、推論モデル\texttt{QwQ-32B-Preview}の20個の長いCoT例のみを使用して、基本モデル\texttt{Qwen2.5-32B}を軽く微調整しました。結果モデルは、はるかに大きい\texttt{Qwen2.5-Math-72B-Instruct}よりも優れたパフォーマンスを提供し、高品質の少量の例が強力な推論能力を有効にすることができることを示しています。さらに、プロンプトエンジニアリング、マルチパス編集、および構造的ガイダンスを通じて、改良された非推論モデルおよび人間の注釈家のCoTデータの使用を調査しました。しかし、推論モデル追跡の性能には及ばなかった。問題の難易度,多様性,回答長さなどの推論データの主な特性が推論蒸留に及ぼす影響を分析した。それでも課題は残っていますが、慎重にキュレーションされた少量の人間作成のCoTでも、基本モデルで推論動作を有効にできるという点で肯定的です。研究者は、改善段階にわたって人間が作成したデータセットを公開し、小規模推論監督の効果に関するさらなる研究を求めます。

Takeaways、Limitations

•

Takeaways：高品質の少量のCoTの例を使用した微調整は、基本モデルの推論能力を大幅に向上させることができることを示しています。小規模の人間作成 CoT データが基本モデルの推論性能の向上に有効であることを示した。人間が作成したCoTデータセットを公開し、さらなる研究のための基盤を設けました。

•

Limitations：非推論モデルまたは人間の注釈家のCoTデータは、推論モデルのCoTデータほど効果的ではありませんでした。専門家は、CoTの特定の潜在的な特性を複製することが困難であることを示唆しています。問題難易度、多様性、回答長さなど、推論データの特性が推論蒸留に与える影響に関するさらなる研究が必要である。

PDFを見る

Made with Slashpage