Este artículo destaca la importancia de la regularización de la política de referencia en el alineamiento de autojuego, que se ha convertido en un enfoque eficaz para el ajuste fino de modelos de lenguaje a gran escala (LLM). Dado que la regularización de la política de referencia no se ha estudiado suficientemente en los métodos de alineamiento de autojuego existentes, proponemos un marco general y modular, la Optimización de Políticas de Autojuego Regulado (RSPO), para estudiar los efectos de diversas estrategias de regularización. La RSPO unifica los métodos existentes y permite una fácil integración inmediata de diversos regularizadores, garantizando al mismo tiempo la convergencia al equilibrio de Nash del juego regularizado correspondiente. Los resultados experimentales con más de 120 modelos Mistral-7B-Instruct ajustados muestran que la regularización de la divergencia KL hacia adelante reduce la longitud de respuesta, mientras que la divergencia KL hacia atrás mejora significativamente la probabilidad de ganar. En particular, la RSPO regularizada mediante una combinación lineal de divergencias KL hacia adelante y hacia atrás mejora significativamente la tasa de éxito controlada por longitud del 28,5 % (autojuego no regulado, SPPO) al 35,4 % en AlpacaEval-2, y la supera consistentemente en las puntuaciones de Arena-Hard, MT-Bench, ArmoRM y diversidad de respuesta. La RSPO proporciona una base sólida para explorar el autojuego regularizado en la alineación de modelos lingüísticos al combinar simplicidad, garantías de convergencia y logros experimentales significativos.
