En este artículo, presentamos un método para sintetizar automáticamente recompensas densas a partir de explicaciones en lenguaje natural en el aprendizaje por refuerzo. Para abordar los problemas de escalabilidad de las anotaciones LLM en estudios previos (T2070) y la necesidad de grandes conjuntos de datos sin conexión, proponemos una arquitectura distribuida, ONI. ONI anota la experiencia del agente a través de un servidor LLM asíncrono y la descompone en un modelo de recompensa intrínseco. Exploramos diversos algoritmos, como modelos de hash, clasificación y ranking, y logramos un rendimiento de vanguardia en diversas tareas en el entorno de aprendizaje NetHack. A diferencia de estudios previos, no requiere grandes conjuntos de datos sin conexión. El código está disponible en GitHub.
