Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
Lois d'échelle de la prévision et de la planification du mouvement - Rapport technique
Created by
Haebom
Auteur
Mustafa Baniodeh, Kratarth Goel, Scott Ettinger, Carlos Fuertes, Ari Seff, Tim Shen, Cole Gulino, Chenjie Yang, Ghassen Jerfel, Dokook Choe, Rui Wang, Benjamin Charrow, Vinutha Kallem, Sergio Casas, Rami Al-Rfou, Benjamin Sapp, Dragomir Anguelov
Contour
Nous avons étudié les lois d'échelle empiriques de la famille de modèles autorégressifs encodeurs-décodeurs Transformer pour les tâches conjointes de prédiction et de planification de mouvement en conduite autonome. À l'aide d'un jeu de données de conduite de 500 000 heures, nous montrons que les performances du modèle s'améliorent en fonction de la loi de puissance du budget de calcul total, à l'instar de la modélisation du langage, et qu'il existe une forte corrélation entre la perte d'apprentissage du modèle et les métriques d'évaluation du modèle. Plus intéressant encore, les métriques en boucle fermée s'améliorent également avec la mise à l'échelle, ce qui a des implications importantes pour l'adéquation des métriques en boucle ouverte au développement de modèles et aux approches ascendantes. Nous avons également étudié la mise à l'échelle optimale du nombre de paramètres Transformer et de la taille des données d'apprentissage pour les modèles optimisés pour le calcul d'apprentissage. Nous avons constaté qu'une mise à l'échelle optimale nécessite d'augmenter la taille du modèle 1,5 fois plus vite que la taille du jeu de données à mesure que le budget de calcul d'apprentissage augmente. Nous avons également étudié la mise à l'échelle du temps de calcul d'inférence, montrant que l'échantillonnage et le clustering des sorties de modèles plus petits les rendent compétitifs par rapport aux modèles plus grands, et qu'au-delà d'un point de croisement, les modèles plus grands atteignent une efficacité de calcul d'inférence supérieure. Globalement, les résultats expérimentaux démontrent que l'optimisation des caractéristiques d'échelle temporelle d'apprentissage et d'inférence des modèles de prédiction et de planification de mouvement est un moyen essentiel d'améliorer les performances dans divers scénarios de conduite. Enfin, nous explorons brièvement l'utilité de l'utilisation des données de conduite enregistrées par d'autres agents pour améliorer les performances des agents autonomes, un domaine de recherche crucial pour pallier le manque de données robotiques pour l'apprentissage de modèles à grande échelle.
Takeaways, Limitations
•
Takeaways:
◦
Nous démontrons empiriquement que les performances du modèle s’améliorent en fonction de la loi de puissance du budget de calcul total.
◦
Une forte corrélation a été trouvée entre la perte d’entraînement du modèle et les mesures d’évaluation du modèle.
◦
Nous confirmons également que l’indicateur en boucle fermée s’améliore avec la mise à l’échelle, suggérant les limites de l’indicateur en boucle ouverte.
◦
Nous présentons des stratégies de mise à l'échelle optimales pour la taille du modèle et la taille de l'ensemble de données afin d'optimiser le calcul de formation.
◦
Suggérant la possibilité d'améliorer l'efficacité du calcul du temps d'inférence grâce à l'échantillonnage de sortie et au regroupement de petits modèles.
◦
Suggérer la possibilité d’améliorer les performances des auto-agents en utilisant les données d’autres agents.
•
Limitations:
◦
Le sujet de recherche est limité à une série spécifique de modèles de transformateurs.
◦
En utilisant un ensemble de données de conduite de 500 000 heures, des recherches supplémentaires sont nécessaires pour déterminer la généralisabilité des données.
◦
Une analyse et une explication plus approfondies de l’amélioration de l’indicateur en boucle fermée sont nécessaires.
◦
Une validation supplémentaire des performances de généralisation dans divers scénarios de conduite est nécessaire.
◦
Des recherches plus approfondies sont nécessaires sur la manière dont d’autres agents exploitent les données.
