Dans cet article, nous proposons un cadre d'optimisation autoguidée des récompenses de processus (SPRO) pour remédier au coût de calcul élevé de l'apprentissage par renforcement des processus (PRL), qui a montré un potentiel significatif pour améliorer la capacité d'inférence des modèles de langage à grande échelle (LLM), et à l'absence d'un cadre théorique unifié pour l'estimation des avantages au niveau des processus. SPRO permet un RL sensible aux processus grâce à deux innovations clés : la preuve théorique que les récompenses de processus peuvent être dérivées du modèle de politique lui-même, et l'introduction de récompenses cumulatives de processus bien définies et d'avantages par étape masquée (MSA) pour permettre une estimation stricte des avantages d'action étape par étape au sein d'un groupe d'échantillonnage d'invite partagé. Les résultats expérimentaux montrent que SPRO atteint une efficacité d'apprentissage 3,4 fois supérieure et une précision de test améliorée de 17,5 % par rapport au GRPO conventionnel. De plus, nous démontrons une exploration et une prévention suffisantes du piratage des récompenses en réduisant la longueur moyenne des réponses d'environ 1/3 tout en maintenant une entropie de politique stable et élevée tout au long du processus d'apprentissage. En particulier, SPRO est avantageux pour la mise en œuvre industrielle car il n'entraîne pas de coûts de calcul supplémentaires par rapport aux méthodes RL supervisées par les résultats telles que GRPO.
