Cet article souligne l'importance de la régularisation de la politique de référence dans l'alignement auto-jeu, une approche efficace pour affiner les modèles de langage à grande échelle (LLM). Soulignant que la régularisation de la politique de référence n'a pas été suffisamment étudiée dans les méthodes d'alignement auto-jeu existantes, nous proposons un cadre général et modulaire, **Regulated Self-Play Policy Optimization (RSPO),**, pour étudier les effets de diverses stratégies de régularisation. RSPO unifie les méthodes existantes et permet une intégration plug-and-play facile de divers régularisateurs, tout en garantissant la convergence vers l'équilibre de Nash du jeu régularisé correspondant. Les résultats expérimentaux obtenus avec plus de 120 modèles Mistral-7B-Instruct affinés montrent que la régularisation de la divergence KL avant réduit la longueur de réponse, tandis que la divergence KL arrière améliore significativement la probabilité de gain brute. En particulier, la RSPO régularisée par une combinaison linéaire de divergences KL avant et arrière améliore significativement le taux de gain contrôlé par la longueur de 28,5 % (jeu autonome non régulé, SPPO) à 35,4 % sur AlpacaEval-2, et le surpasse systématiquement sur les scores Arena-Hard, MT-Bench, ArmoRM et la diversité des réponses. La RSPO fournit une base solide pour explorer le jeu autonome régularisé dans l'alignement des modèles de langage en combinant simplicité, garanties de convergence et réalisations expérimentales significatives.
