Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
Salut Robot : Suivi d'instructions ouvert avec modèles hiérarchiques vision-langage-action
Created by
Haebom
Auteur
Lucy Xiaoyang Shi, Brian Ichter, Michael Equi, Liyiming Ke, Karl Pertsch, Quan Vuong, James Tanner, Anna Walling, Haohuan Wang, Niccolo Fusai, Adrian Li-Bell, Danny Driess, Lachy Groom, Sergey Levine, Chelsea Finn
Contour
Cet article présente un système robotique polyvalent capable d'effectuer diverses tâches dans un environnement ouvert. Ce système est capable de traiter des instructions, des invites et des retours complexes, et de planifier des tâches étape par étape. Il utilise un modèle vision-langage hiérarchique pour analyser les commandes complexes et les retours utilisateur, en déduire l'étape suivante la plus appropriée, puis l'exécuter comme une action de bas niveau. Contrairement à l'exécution directe de commandes simples (« Prends la tasse »), le système peut comprendre des invites complexes et intégrer des retours contextuels (« Ce n'est pas un déchet ») lors de l'exécution de la tâche. La capacité du système à effectuer des tâches telles que débarrasser la table, préparer des sandwichs et faire les courses est évaluée sur trois plateformes robotiques : un robot à un bras, un robot à deux bras et un robot mobile à deux bras.
Takeaways, Limitations
•
Takeaways:
◦
Démontre le potentiel de construire des systèmes robotiques capables de traiter des commandes linguistiques complexes et des commentaires contextuels.
◦
Son applicabilité a été vérifiée expérimentalement sur diverses plateformes robotiques.
◦
Exécution efficace des tâches grâce à l'utilisation hiérarchique de modèles vision-langage.
•
Limitations:
◦
Une analyse plus approfondie est nécessaire sur la généralisabilité et la robustesse du système présenté dans l’article.
◦
Une vérification de l’évolutivité pour divers environnements et tâches est requise.
◦
Des recherches supplémentaires sont nécessaires sur la capacité à gérer des situations inattendues ou des erreurs.
