Cet article présente le système Robots Imitating Generated Videos (RIGVid). RIGVid permet aux robots d'effectuer des manipulations complexes telles que verser, essuyer et mélanger en imitant des vidéos générées par l'IA, sans démonstration physique ni formation spécifique. À partir d'une commande verbale et d'une image de scène initiale, un modèle de diffusion vidéo génère des vidéos de démonstration potentielles, et un modèle de langage visuel (MLV) filtre automatiquement les résultats non conformes à la commande. Un système de suivi de pose 6D extrait ensuite les trajectoires des objets des vidéos, qui sont ensuite réaffectées au robot, quelle que soit l'implémentation. Des évaluations approfondies en conditions réelles montrent que les vidéos de génération filtrées sont aussi efficaces que les démonstrations réelles, et que les performances s'améliorent avec la qualité de la génération. Nous montrons également que le recours aux vidéos de génération surpasse des alternatives plus concises, comme la prédiction de points clés à l'aide du MLV, et qu'un suivi de pose 6D robuste surpasse d'autres méthodes d'extraction de trajectoires, comme le suivi de caractéristiques denses. Ces résultats suggèrent que les vidéos générées par des modèles commerciaux de pointe peuvent être une source efficace de supervision pour la manipulation des robots.
