Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Transformateur FT : transformateur résilient et fiable avec une attention aux pannes de bout en bout

Created by
  • Haebom

Auteur

Huangliang Dai, Shixun Wu, Jiajun Huang, Zizhe Jian, Yue Zhu, Haiyang Hu, Zizhong Chen

Contour

Cet article propose une technique efficace de tolérance aux pannes pour les erreurs logicielles survenant lors du processus d'inférence d'un modèle Transformer. Les frameworks de tolérance aux pannes existants, basés sur des unités de calcul, souffrent d'une surcharge de calcul et de mémoire importante, ainsi que d'une évolutivité limitée. Cet article aborde ces problèmes en traitant les calculs du module d'attention comme un noyau unique, implémentant une tolérance aux pannes de bout en bout. Il offre une protection complète contre les erreurs pour les opérations non linéaires et conçoit un algorithme de tolérance aux pannes basé sur les pas (ABFT) pour les modules linéaires afin d'éviter la communication inter-threads. Les résultats expérimentaux démontrent une accélération jusqu'à 7,56 fois supérieure aux méthodes existantes, avec une surcharge moyenne de tolérance aux pannes de 13,9 %.

Takeaways, Limitations

Takeaways:
Présentation d'une solution efficace aux erreurs logicielles qui se produisent pendant le processus d'inférence du modèle Transformer.
Présentation d'une technique tolérante aux pannes de bout en bout qui offre une vitesse et une efficacité considérablement améliorées par rapport aux méthodes existantes.
Une protection efficace contre les erreurs des modules linéaires est proposée à l'aide de la tolérance aux pannes basée sur la foulée (ABFT).
Limitations:
Il est possible que l’efficacité de la méthode proposée soit limitée à des environnements matériels spécifiques ou à des modèles de transformateurs de tailles spécifiques.
Il peut manquer des expériences complètes sur différents types d’erreurs logicielles.
Des recherches supplémentaires sont nécessaires sur l’applicabilité à d’autres types de modèles ou de processus d’inférence.
👍