Cet article présente les réseaux de neurones à pics (SNN), qui utilisent un paradigme piloté par événements, comme une approche prometteuse pour la construction d'architectures Transformer économes en énergie. Comparées aux transformateurs à pics classiques entraînés directement, les méthodes de conversion ANN vers SNN permettent d'éviter des coûts d'entraînement élevés. Cependant, elles sont limitées par leur incapacité à gérer efficacement les opérations non linéaires de l'architecture Transformer et par la nécessité d'affiner le ANN pré-entraîné. Pour résoudre ces problèmes, cet article propose un cadre de conversion ANN vers SNN hautes performances, sans entraînement, adapté à l'architecture Transformer. Plus précisément, nous introduisons des neurones à décroissance exponentielle multi-bases (MBE), qui approximent efficacement diverses opérations non linéaires grâce à une stratégie de décroissance exponentielle et à une méthode d'encodage multi-bases, éliminant ainsi le besoin de modifier le poids du ANN pré-entraîné. Des expériences approfondies sur diverses tâches (CV, NLU, NLG) et sur les architectures de transformateurs classiques (ViT, RoBERTa, GPT-2) démontrent que la méthode proposée atteint une précision de conversion quasi-nulle avec une latence nettement inférieure. Cela ouvre une voie prometteuse pour un déploiement efficace et évolutif des transformateurs à picots dans des applications concrètes.
