Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
Analyse empirique de la co-formation en simulation et en réel des politiques de diffusion pour la poussée planaire à partir de pixels
Created by
Haebom
Auteur
Adam Wei, Abhinav Agarwal, Boyuan Chen, Rohan Bosworth, Nicholas Pfaff, Russ Tedrake
Contour
L'apprentissage coopératif utilisant des données de démonstration générées par des simulations et du matériel réel s'est révélé une approche prometteuse pour l'apprentissage par imitation à grande échelle en robotique. Cette étude vise à élucider les principes fondamentaux de cette approche de co-apprentissage simulation-réel afin d'éclairer la conception de simulations, la génération d'ensembles de données de simulation et de données réelles, ainsi que l'apprentissage des politiques. Les résultats expérimentaux démontrent que le co-apprentissage utilisant des données simulées peut améliorer significativement les performances, en particulier lorsque les données réelles sont limitées. Cette amélioration des performances s'amplifie avec des données de simulation supplémentaires jusqu'à atteindre un plateau, et le plafond de performance augmente avec l'ajout de données réelles. De plus, pour les tâches sans préhension ou à contact intensif, réduire l'écart entre les domaines physiques peut être plus efficace qu'augmenter la fidélité visuelle. De manière quelque peu surprenante, nous constatons qu'un certain degré de disparité visuelle peut être bénéfique pour le co-apprentissage. Les sondes binaires démontrent que les politiques performantes doivent apprendre à distinguer les domaines simulés des domaines réels. Nous concluons en examinant les différences subtiles et les mécanismes qui facilitent le transfert positif entre les tâches de simulation et les tâches réelles. Notre concentration sur la tâche courante de poussée planaire nous a permis de mener une étude approfondie. Nous avons mené des expériences impliquant plus de 50 politiques réelles (évaluées sur plus de 1 000 essais) et 250 politiques simulées (évaluées sur plus de 50 000 essais). La vidéo et le code sont disponibles à l'adresse https://sim-and-real-cotraining.github.io/ .
L’apprentissage coopératif utilisant des données simulées peut améliorer considérablement les performances de l’apprentissage par imitation de robots lorsque les données du monde réel sont limitées.
◦
Bien que des données de simulation supplémentaires contribuent à améliorer les performances, leur effet diminue au-delà d'un certain point. L'ajout de données réelles augmente le plafond de performance.
◦
Pour les tâches qui impliquent beaucoup de prise en main ou de contact, la réduction de l’écart du domaine physique peut être plus importante que la fidélité visuelle.
◦
Un certain niveau de différenciation visuelle peut favoriser l’apprentissage collaboratif en améliorant la capacité à distinguer les domaines simulés et réels.
•
Limitations:
◦
L’étude s’est limitée à une tâche spécifique, la poussée à plat, et des recherches supplémentaires sont nécessaires pour déterminer sa généralisabilité.
◦
Des recherches supplémentaires sont nécessaires pour déterminer les moyens optimaux de combler l’écart de domaine entre les simulations et les données du monde réel.
◦
Des recherches supplémentaires sont nécessaires sur l’évolutivité vers diverses tâches et environnements robotiques.
