本稿では、大規模推論モデル（LRM）の推論過程で発生する過剰な計算コストを解決するために、SmartThinkerという新しいフレームワークを提案します。従来のグローバル長ペナルティ方式は、重要な推論段階まで過度に短縮する問題を抱えています。最初のステップでは、拒絶サンプリングとマップ学習微調整（SFT）を使用してモデルを短縮型推論モードに適応させ、2番目のステップでは、ステップごとの長さ制御ポリシー最適化（SCPO）を適用して、重要なステップには長さを増やし、それほど重要ではないステップには長さを短くすることで効率を向上させます。 SCPOは、オンライン重要度推定器、段階的長さ制御補償関数、段階的一般化利点推定（S-GAE）、難易度適応クリッピング戦略の4つのコンポーネントで構成されています。複数の推論ベンチマークとさまざまなバックボーンモデルの実験の結果、SmartThinkerは、従来の方法と比較して類似またはより良いパフォーマンスを維持しながら、重複した推論を大幅に減らすことを示しています。
