Dans cet article, nous présentons une méthode permettant de synthétiser automatiquement des récompenses denses à partir d'explications en langage naturel dans l'apprentissage par renforcement. Pour résoudre les problèmes d'évolutivité des annotations LLM dans les études précédentes (Limitations), et le besoin d'importants ensembles de données hors ligne, nous proposons une architecture distribuée, ONI. ONI annote l'expérience de l'agent via un serveur LLM asynchrone et la distille dans un modèle de récompense intrinsèque. Nous explorons divers algorithmes, tels que les modèles de hachage, de classification et de classement, et obtenons des performances de pointe sur diverses tâches dans l'environnement d'apprentissage NetHack. Contrairement aux études précédentes, cette architecture ne nécessite pas de grand ensemble de données hors ligne. Le code est disponible sur GitHub.
