Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Apprentissage modulé par la récompense basé sur le bruit

Created by
  • Haebom

Auteur

Oui, nous García Fernández , Nasir Ahmad, Marcel van Gerven

Contour

Cet article présente une nouvelle règle d'apprentissage basée sur le bruit qui imite les mécanismes des systèmes neuronaux biologiques, qui apprennent efficacement à partir de récompenses différées, et est applicable même dans des environnements à ressources limitées ou des systèmes contenant des composants non différentiables. Pour pallier les limites de l'apprentissage Hebb régulé par la récompense (RMHL) traditionnel, qui implique des délais et un traitement hiérarchique, nous proposons un algorithme qui utilise l'erreur de prédiction de récompense comme objectif d'optimisation et intègre une trace d'éligibilité pour permettre l'attribution rétrospective de crédits. Cette méthode utilise uniquement des informations locales et démontre expérimentalement qu'elle surpasse RMHL et atteint des performances comparables à la rétropropagation (BP) dans les tâches d'apprentissage par renforcement (récompenses immédiates et différées). Bien que sa vitesse de convergence soit lente, elle démontre son applicabilité aux systèmes adaptatifs à faible consommation d'énergie où l'efficacité énergétique et la plausibilité biologique sont cruciales. De plus, elle apporte un éclairage sur les mécanismes par lesquels les signaux de type dopaminergique et la stochasticité synaptique contribuent à l'apprentissage dans les réseaux biologiques.

Takeaways, Limitations

Takeaways:
Une règle d’apprentissage basée sur le bruit qui est efficace même pour les récompenses différées est présentée.
Preuve d'applicabilité dans des environnements à ressources limitées et des systèmes non différentiables
Améliorer la compréhension des mécanismes d'apprentissage dans les circuits neuronaux biologiques
Suggère des applications potentielles pour les systèmes adaptatifs à faible consommation d'énergie, en particulier ceux où l'efficacité énergétique et la plausibilité biologique sont importantes.
Fournit des informations sur le rôle de la signalisation de type dopamine et de la stochasticité synaptique.
Limitations:
Les expériences ont été menées uniquement sur des réseaux à structures simples.
Convergence plus lente par rapport à l'apprentissage basé sur la rétropropagation
L’applicabilité à des problèmes complexes du monde réel nécessite des études plus approfondies.
👍