En apprentissage par renforcement, spécifier une fonction de récompense capturant l'action prévue peut s'avérer très difficile. L'apprentissage par récompense tente de résoudre ce problème en apprenant une fonction de récompense. Cependant, le modèle de récompense appris peut produire des politiques avec de faibles erreurs dans la distribution des données, mais avec des regrets importants. Nous disons que ces modèles de récompense souffrent d'incohérence erreur-regret. La principale cause de cette incohérence est le décalage de distribution qui se produit généralement lors de l'optimisation des politiques. Dans cet article, nous démontrons mathématiquement que, si le modèle de récompense garantit une erreur de test attendue suffisamment faible pour avoir un faible regret dans le pire des cas, il existe des distributions de données réalistes où une incohérence erreur-regret peut survenir pour toute erreur de test attendue fixe. Nous montrons ensuite que des problèmes similaires persistent même avec l'utilisation de techniques de régularisation des politiques couramment utilisées dans des méthodes telles que RLHF. Nous espérons que nos résultats stimuleront la recherche théorique et empirique sur de meilleures méthodes d'apprentissage des modèles de récompense et de mesure fiable de leur qualité.
