En este artículo, proponemos un novedoso algoritmo de optimización de preferencias adaptativas, denominado α-DPO, para superar las limitaciones de la retroalimentación humana basada en aprendizaje de refuerzo (RLHF), con problemas de eficiencia computacional y estabilidad del entrenamiento, como una forma de alinear los modelos de lenguaje a gran escala (LLM) con los valores e intenciones humanas. α-DPO introduce un margen de recompensa dinámico para reducir la dependencia del modelo de referencia óptimo y resolver el problema de la toma de decisiones subóptimas en diversos entornos de datos. Logra márgenes de recompensa personalizados al equilibrar el modelo de política y el modelo de referencia mediante distribuciones de preferencias adaptativas. Mediante garantías teóricas y evaluaciones experimentales en AlpacaEval 2 y Arena-Hard, demostramos que α-DPO supera a DPO y SimPO, demostrando que es una herramienta poderosa para la alineación de LLM.
