[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Une analyse théorique des groupes des symétries sous-jacentes à l'addition de base et de leur apprentissage par les réseaux neuronaux

Created by
  • Haebom

Auteur

Cutter Dawes, Simon Segert, Kamesh Krishnamurthy, Jonathan D. Cohen

Contour

Cet article traite de la conception d'un système apprenant efficacement des fonctions supportant la « généralisation radicale », l'une des principales tâches de l'utilisation des réseaux de neurones en intelligence artificielle et en modélisation des fonctions cognitives. La clé de la généralisation radicale réside dans la capacité à découvrir et à implémenter des fonctions symétriques. Dans cet article, nous étudions l'« addition de base » comme exemple typique de généralisation radicale utilisant la symétrie. Nous présentons une analyse de la fonction de retenue, caractéristique fondamentale de l'addition de base, par la théorie des groupes, et suggérons des alternatives pour différentes fonctions de retenue pour une base donnée, ainsi qu'une méthode permettant de les mesurer quantitativement. Nous étudions le biais inductif dans l'apprentissage symétrique des réseaux de neurones en entraînant ces derniers à l'aide de différentes fonctions de retenue et en comparant l'efficacité et la vitesse d'apprentissage en fonction de la structure de la fonction de retenue. Par conséquent, nous constatons que même des réseaux de neurones simples peuvent réaliser une généralisation radicale en utilisant des formats d'entrée et des fonctions de retenue appropriés, et que le potentiel d'apprentissage est étroitement corrélé à la structure de la fonction de retenue. Enfin, nous discutons des implications de ces résultats pour les sciences cognitives et l'apprentissage automatique.

Takeaways, Limitations

Takeaways:
Nous montrons que même les réseaux neuronaux simples peuvent atteindre une généralisation radicale avec des formats d’entrée et des fonctions de transport appropriés.
Révéler la corrélation entre la capacité d'apprentissage des réseaux neuronaux et la structure de la fonction de report.
Offre de nouvelles perspectives sur les sciences cognitives et l’apprentissage automatique.
Limitations:
Cette étude se limite à un problème spécifique d'addition de bases. Des recherches supplémentaires sont nécessaires pour déterminer sa généralisabilité à d'autres types de problèmes.
Les types et architectures de réseaux neuronaux utilisés peuvent être limités. Des expériences supplémentaires avec différentes architectures de réseaux neuronaux sont nécessaires.
Une analyse plus approfondie du mécanisme de corrélation entre la structure de la fonction de report et la capacité d’apprentissage est nécessaire.
👍