Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Remodeler l'algorithme Forward-Forward avec un objectif basé sur la similarité

Created by
  • Haebom

Auteur

James Gong, Raymond Luo, Emma Wang, Leon Ge, Bruce Li, Felix Marattukalam, Waleed Abdulla

Contour

Cet article se concentre sur l'amélioration des performances de l'algorithme forward-forward, proposé pour surmonter les limites de l'algorithme de rétropropagation, telles que son impraticabilité biologique et la propagation globale des erreurs. Les algorithmes forward-forward existants se sont révélés nettement inférieurs à l'algorithme de rétropropagation en termes de précision et d'efficacité d'inférence. Dans cette étude, nous proposons l'algorithme FAUST (Forward-Forward Algorithm Unified with Similarity-based Tuplet loss), qui intègre un cadre d'apprentissage de similarité à l'algorithme forward-forward, éliminant ainsi le besoin de multiples passes de propagation directe pendant le processus d'inférence. Les résultats expérimentaux obtenus à partir des jeux de données MNIST, Fashion-MNIST et CIFAR-10 démontrent que FAUST améliore significativement la précision par rapport aux algorithmes forward-forward existants, réduisant ainsi l'écart de performance avec l'algorithme de rétropropagation. Plus précisément, sur l'ensemble de données CIFAR-10, en utilisant une architecture de perceptron multicouche simple, nous obtenons une précision de 56,22 %, approchant la précision de 57,63 % de l'algorithme de rétropropagation.

Takeaways, Limitations

Takeaways:
Nous montrons que la précision de l’algorithme forward-forward peut être améliorée en utilisant des techniques d’apprentissage par similarité.
Fournit une alternative biologiquement plus plausible à l’algorithme de rétropropagation.
Améliorer l’efficacité du processus d’inférence pour augmenter l’applicabilité pratique.
Limitations:
Il existe toujours un écart de précision par rapport à l’algorithme de rétropropagation sur l’ensemble de données CIFAR-10.
Une évaluation des performances pour des structures de réseau plus complexes ou des ensembles de données volumineux est nécessaire.
Des recherches supplémentaires sont nécessaires sur les performances de généralisation de l’algorithme FAUST.
👍