Cet article se concentre sur les grands modèles de langage (LLM), des codes qui ont montré des résultats prometteurs dans la traduction de tâches en langage naturel en programmes pour robots de service. Si le réglage fin de petits LLM spécialisés est intéressant, la collecte d'un ensemble de données de paires tâche-programme spécifiques à chaque robot est longue et coûteuse. Si des méthodes comme SELF-INSTRUCT et EVOL-INSTRUCT peuvent générer de nouvelles tâches à partir de quelques exemples, elles ne peuvent pas fournir de programmes correspondants respectant correctement le monde physique et les contraintes du robot grâce à l'interface de programmation fournie. L'utilisation d'un simulateur est une solution potentielle naturelle pour vérifier ces contraintes, mais la création d'un environnement de simulation capable de gérer des tâches arbitraires et les objets et emplacements requis est complexe. Pour relever ce défi, cet article propose ROBO-INSTRUCT. ROBO-INSTRUCT déduit de manière opportuniste les propriétés des entités pendant l'exécution du programme et applique ces contraintes en fonction de la manière dont les entités sont utilisées dans le programme de la tâche, synthétisant ainsi à la volée un environnement de simulation spécifique à la tâche. De plus, ROBO-INSTRUCT intègre une procédure de post-traitement assistée par LLM pour améliorer l'alignement avec le programme du robot. Nous démontrons l’efficacité de ROBO-INSTRUCT sur plusieurs LLM, montrant que le modèle affiné surpasse toutes les méthodes de base et égale ou dépasse même les performances de plusieurs modèles propriétaires plus grands.
