本論文では、大規模言語モデル（LLM）の推論能力を向上させるための新しい強化学習方法であるMOTIF（Modular Thinking via Reinforcement Finetuning）を提案します。従来のGRPO（Group Relative Policy Optimization）アルゴリズムは、推論トークンの数を増やすことで応答品質を向上させますが、LLMの限られたコンテキストサイズによって制約があります。 MOTIFは、複数のラウンドにわたって推論トークンを生成するモジュラー思考戦略を通じて、コンテキストサイズの制限を克服したいと考えています。 Qwen2.5-3B-InstructモデルをGSM8Kデータセットでパラメータ効率的な微調整で学習した結果、MATH500およびAIME2024ベンチマークで、従来のGRPOベースの学習に比べてそれぞれ3.8％と3.3％の精度向上を見せ、これは15％のサンプルのみを使用して達成した。コードとモデルは公開されています。
