Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Calcul de convolution distribué codé flexible pour une résilience améliorée des retardataires et une stabilité numérique dans les CNN distribués

Created by
  • Haebom

Auteur

Shuo Tan, Rui Liu, Xuesong Han, XianLei Long, Kai Wan, Linqi Song, Yong Li

Contour

Cet article propose un cadre de calcul de convolution distribuée codée flexible (FCDCC) pour résoudre le problème des nœuds retardataires, responsables de retards lors du déploiement de CNN dans des environnements aux ressources limitées. Il étend le calcul distribué codé (CDC) existant avec l'incorporation de matrices circulantes et rotatives (CRME) et l'applique aux convolutions tensorielles de grande dimension. La technique proposée, la convolution tensorielle codée numériquement stable (NSCTC), introduit deux nouvelles techniques de partitionnement de codage : le partitionnement codé par remplissage adaptatif (APCP) pour les tenseurs d'entrée et le partitionnement codé noyau-canal (KCCP) pour les tenseurs de filtre. Ces stratégies permettent la décomposition linéaire des convolutions tensorielles et leur codage en sous-tâches CDC, combinant parallélisme de modèle et redondance codée pour une exécution robuste et efficace. L'analyse théorique identifie un compromis optimal entre les coûts de communication et de stockage, et les résultats expérimentaux démontrent l'efficacité du calcul, la résilience aux nœuds retardataires et l'évolutivité sur diverses architectures CNN.

Takeaways, Limitations

•
Takeaways:
◦
Nous présentons un nouveau cadre (FCDCC) pour améliorer l'efficacité et la stabilité des CNN distribués dans des environnements à ressources limitées.
◦
La technique NSCTC améliore l'efficacité de calcul, la robustesse contre les nœuds lents et l'évolutivité.
◦
Un partitionnement et un codage efficaces des convolutions tensorielles sont possibles grâce à de nouvelles techniques de partitionnement de codage appelées APCP et KCCP.
◦
Analyse théorique du compromis optimal entre les coûts de communication et de stockage.
◦
Efficacité validée expérimentalement sur différentes architectures CNN.
•
Limitations:
◦
Manque de détails sur la mise en œuvre et l’application réelles du cadre proposé.
◦
Une analyse plus approfondie est nécessaire pour déterminer s’il existe une dépendance à des environnements matériels spécifiques ou à des architectures CNN.
◦
Une évaluation des performances de modèles CNN plus diversifiés et plus complexes est nécessaire.
◦
Limites des capacités de correction d’erreurs et nécessité de recherches supplémentaires.
👍
Made with Slashpage