Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Stabilisation de l'alimentation pour les centres de données de formation à l'IA

Created by
  • Haebom

Auteur

Esha Choukse, Brijesh Warrier, Scot Heath, Luz Belmont, April Zhao, Hassan Ali Khan, Brian Harry, Matthew Kappel, Russell J. Hewett, Kushal Datta, Yu Pei, Caroline Lichtenberger, John Siegler, David Lukofsky, Zaid Kahn, Gurpreet Sahota, Andy Sullivan, Charles Frederick, Hien Thai, Rebecca Naughton, Daniel Jurnove, Justin Harp, Reid Carper, Nithish Mahalingam, Srini Varkala, Alok Gautam Kumbhare, Satyajit Desai, Venkatesh Ramamurthy, Praneeth Gottumukkala, Girish Bhatia, Kelsey Wildstone, Laurentiu Olariu, Ileana Incorvaia, Alex Wetmore, Prabhat Ram, Melur Raghuraman, Mohammed Ayna, Mike Kendrick, Ricardo Bianchini, Aaron Hurst, Reza Zamani,

Contour

Cet article aborde le défi de la gestion de l'énergie des tâches d'entraînement d'IA à grande échelle utilisant des dizaines de milliers de GPU. En raison de la forte variabilité de la consommation d'énergie pendant l'entraînement, celle-ci varie considérablement entre les phases de calcul intensif et celles de communication intensive à chaque itération, ce qui entraîne d'importantes fluctuations de puissance. L'amplitude de ces fluctuations augmente à mesure que la tâche d'entraînement évolue, et si leur fréquence coïncide avec la fréquence critique du réseau électrique, elles peuvent endommager physiquement l'infrastructure du réseau électrique. Par conséquent, la stabilisation de l'énergie est essentielle pour étendre en toute sécurité les tâches d'entraînement d'IA. Cet article aborde ce problème à l'aide de données réelles et explore des solutions innovantes pour les logiciels, le matériel GPU et l'infrastructure des centres de données. Nous présentons les avantages et les inconvénients de chaque approche et proposons une approche multidimensionnelle. La solution proposée est rigoureusement testée sur du matériel réel et le simulateur de puissance cloud interne de Microsoft, fournissant des informations précieuses sur son efficacité en environnement réel.

Takeaways, Limitations

•
Takeaways:
◦
Analyse systématiquement les problèmes de gestion de l'énergie dans les tâches d'apprentissage de l'IA à grande échelle et propose des solutions multiformes.
◦
L’efficacité de la solution est prouvée par une vérification expérimentale utilisant des données réelles et des simulations.
◦
Une approche globale couvrant les logiciels, le matériel et l’infrastructure.
•
Limitations:
◦
En utilisant le simulateur de puissance cloud interne de Microsoft, il peut y avoir des différences par rapport aux environnements réels.
◦
Manque d’analyse de l’efficacité à long terme et des coûts de maintenance des solutions proposées.
◦
Des recherches supplémentaires sont nécessaires sur la généralisabilité à différents types de tâches d’apprentissage de l’IA.
👍
Made with Slashpage