Dans cet article, nous présentons la méthode itérative de repondération puis d'optimisation (IRO), une nouvelle méthode permettant d'adapter les modèles linguistiques à grande échelle (LLM) aux préférences humaines. Contrairement aux méthodes RLHF ou DPO conventionnelles, elle ne modifie pas directement les paramètres du modèle, mais améliore la qualité de sa sortie lors des tests grâce à une fonction de récompense basée sur l'apprentissage par renforcement. L'IRO génère itérativement des candidats de sortie d'un modèle de base, les rééchantillonne à l'aide d'une fonction de valeur et apprend une nouvelle fonction de valeur. Lors des tests, les fonctions de valeur apprises servent à guider la génération d'un modèle de base grâce à un processus d'optimisation par exploration. Cela permet aux utilisateurs d'adapter les modèles à leurs propres jeux de données, même sans avoir accès aux pondérations du modèle.
