Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Human2LocoMan : apprentissage de la manipulation polyvalente des quadrupèdes grâce à un entraînement préalable

Created by
  • Haebom

Auteur

Yaru Niu, Yunzhe Zhang, Mingyang Yu, Changyi Lin, Chenhao Li, Yikai Wang, Yuxiang Yang, Wenhao Yu, Tingnan Zhang, Zhenzhen Li, Jonathan Francis, Bingqing Chen, Jie Tan, Ding Zhao

Contour

Cet article présente une solution au problème consistant à doter un robot quadrupède de capacités de manipulation autonomes et polyvalentes évolutives, démontrant des capacités de locomotion impressionnantes dans divers environnements. Nous introduisons un système d'apprentissage par imitation à implémentations croisées qui utilise les données collectées auprès d'un humain et d'un robot quadrupède doté de multiples modes de manipulation, LocoMan. Nous développons un pipeline de téléopération et d'acquisition de données qui intègre et modularise les espaces d'observation et d'action des humains et des robots, et proposons une architecture modulaire efficace prenant en charge l'apprentissage et le pré-entraînement conjoints à l'aide de données structurées et alignées sur les modes, sur plusieurs implémentations. De plus, nous construisons le premier ensemble de données de manipulation pour les robots LocoMan, couvrant diverses tâches ménagères, en modes à une et deux mains, complétant ainsi l'ensemble de données humaines correspondant. Les résultats de validation sur six tâches de manipulation réelles montrent une amélioration globale de 41,9 % par rapport à la référence, et un taux de réussite moyen de 79,7 % en situation hors distribution. Le pré-entraînement avec des données humaines contribue à une amélioration globale de 38,6 % et à un taux de réussite de 82,7 % hors distribution, obtenant systématiquement de meilleures performances avec seulement la moitié des données du robot. Le code, le matériel et les données ont été rendus publics ( https://human2bots.github.io ).

Takeaways, Limitations

Takeaways:
Nous avons considérablement amélioré les performances de manipulation des robots quadrupèdes grâce à un système d’apprentissage par imitation à implémentation croisée qui intègre et exploite les données humaines et robotiques.
Nous avons amélioré l’efficacité des données grâce à une architecture modulaire efficace et à une stratégie de pré-formation.
Nous montrons que la pré-formation sur des données humaines peut améliorer les performances tout en réduisant la quantité de données du robot.
Nous présentons des résultats de validation réussis pour des tâches du monde réel.
Nous avons rendu nos recherches reproductibles et évolutives en rendant notre code, notre matériel et nos données ouverts.
Limitations:
ÉTant donné que nous utilisons actuellement un ensemble de données limité aux tâches domestiques, une évaluation des performances de généralisation pour divers environnements et tâches est nécessaire.
Les performances peuvent être affectées par la qualité de la démonstration humaine.
Des recherches supplémentaires sont nécessaires sur la capacité des robots à faire face à des situations et des obstacles imprévisibles.
Des recherches supplémentaires sont nécessaires pour acquérir des compétences de manipulation plus complexes et plus diversifiées.
👍