Cet article présente un framework de parallélisation automatique, TAPAS, permettant de relever les défis de la détermination automatique des stratégies de parallélisation des tenseurs, essentielles à l'apprentissage distribué des réseaux de neurones à grande échelle. Ce framework s'attaque à l'espace de recherche en croissance exponentielle des méthodes existantes en le réduisant efficacement grâce à une approche de division et de conquête, exploitant la sous-structure récurrente des réseaux de neurones. Cette approche permet d'atteindre une complexité sous-linéaire par rapport à la taille du modèle, offrant ainsi une solution évolutive applicable à l'apprentissage des réseaux à grande échelle. Les résultats expérimentaux démontrent que TAPAS atteint des vitesses de recherche jusqu'à 160 fois supérieures à celles des frameworks de parallélisation automatique de pointe existants, et que les performances de la stratégie dérivée sont comparables, voire supérieures, à celles de la bibliothèque Megatron-LM conçue par des experts.
