Dans cet article, nous proposons une nouvelle méthode d'apprentissage par renforcement, la pensée modulaire via le réglage fin du renforcement (MOTIF), pour améliorer la capacité d'inférence des modèles de langage à grande échelle (LLM). L'algorithme GRPO (Group Relative Policy Optimization) existant améliore la qualité des réponses en augmentant le nombre de jetons d'inférence, mais il est limité par la taille limitée du contexte des LLM. MOTIF tente de surmonter cette limitation grâce à une stratégie de pensée modulaire qui génère des jetons d'inférence sur plusieurs cycles. En entraînant le modèle Qwen2.5-3B-Instruct sur le jeu de données GSM8K grâce à un réglage fin efficace des paramètres, nous montrons qu'il améliore la précision de 3,8 % et 3,3 % sur les benchmarks MATH500 et AIME2024, respectivement, par rapport à l'apprentissage basé sur GRPO existant, qui est obtenu en utilisant seulement 15 % des échantillons, démontrant ainsi l'efficacité des échantillons. Le code et les modèles sont en libre accès.
