Cet article présente un nouveau cadre de contrôle robotique pour la manipulation d'objets de longue durée. Étant donné que les approches existantes basées sur l'apprentissage s'appuient sur de vastes ensembles de données spécifiques à des tâches et peinent à être généralisées à des scénarios inconnus, cette étude propose un cadre en boucle fermée qui utilise un modèle de langage à grande échelle (LLM) pour générer des plans de code directement exécutables, plutôt que de s'appuyer sur des contrôleurs de bas niveau pré-entraînés. Le LLM génère des plans de tâches robustes et généralisables grâce à quelques itérations d'apprentissage guidées par le cours de pensée (CoT) et des exemples progressivement structurés. Un rapporteur utilisant RGB-D évalue les résultats et fournit un retour structuré, permettant la correction des erreurs et la replanification sous observation partielle. Cela élimine l'inférence étape par étape, réduit la surcharge de calcul et limite l'accumulation d'erreurs observée avec les méthodes précédentes. Il atteint des performances de pointe sur plus de 30 tâches de longue durée diverses, connues et inconnues, dans des environnements réels encombrés, notamment LoHoRavens, CALVIN, Franka Kitchen et d'autres.
