Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

UP-VLA : un modèle unifié de compréhension et de prédiction pour les agents incarnés

Created by
  • Haebom

Auteur

Jianke Zhang, Yanjiang Guo, Yucheng Hu, Xiaoyu Chen, Xiang Zhu, Jianyu Chen

Contour

Cet article examine les tendances récentes de la recherche sur l'utilisation de modèles Vision-Langage-Action (VLA) pré-entraînés afin d'améliorer leur capacité de généralisation. Nous soulignons que les VLM existants présentent des limites : ils se concentrent sur des informations sémantiques de grande dimension et ne sont pas capables de comprendre les informations spatiales de faible dimension et les actions physiques, facteurs importants pour les tâches de contrôle d'implémentation. Pour pallier ces limites, nous proposons UP-VLA, une méthode intégrée d'entraînement de modèles VLA qui intègre à la fois la compréhension multimodale et les objectifs de prédiction future. UP-VLA améliore à la fois la compréhension sémantique de haute dimension et la compréhension spatiale de faible dimension, et affiche des performances 33 % supérieures à celles des modèles de pointe précédents sur le benchmark Calvin ABC-D, et améliore particulièrement le taux de réussite dans les tâches de manipulation réelles nécessitant des informations spatiales précises.

Takeaways, Limitations

•
Takeaways:
◦
Vérification expérimentale de l'efficacité d'une approche intégrée de formation de modèle VLA qui combine la compréhension multimodale et les objectifs de prédiction future.
◦
Cela suggère la possibilité d’améliorer la capacité à comprendre non seulement les informations sémantiques de haute dimension, mais également les informations spatiales de faible dimension et le mouvement physique.
◦
Démonstration de la praticité du modèle VLA grâce à des performances améliorées dans des tâches réelles de manipulation de robots.
◦
Amélioration des performances de 33 % par rapport au précédent meilleur de sa catégorie sur le benchmark Calvin ABC-D.
•
Limitations:
◦
Une analyse plus approfondie des performances de généralisation de la méthode proposée est nécessaire.
◦
Des recherches supplémentaires sont nécessaires sur son applicabilité et ses limites à divers environnements et tâches.
◦
La complexité et le coût de calcul du modèle UP-VLA doivent être évalués.
👍
Made with Slashpage