Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

De Frege à chatGPT : compositionnalité dans le langage, la cognition et les réseaux neuronaux profonds

Created by
  • Haebom

Auteur

Jacob Russin, Sam Whitman McGrath, Danielle J. Williams

Contour

Cet article offre un aperçu des recherches récentes en apprentissage profond sur la compositionnalité, une propriété fondamentale de l'intelligence humaine, à l'intention des lecteurs en philosophie, sciences cognitives et neurosciences. En nous concentrant sur les modèles de langage à grande échelle (MLH), nous abordons deux approches pour parvenir à une généralisation combinatoire, permettant une puissance expressive infinie à partir d'une expérience d'apprentissage limitée : (1) le biais inductif structurel et (2) le méta-apprentissage. Nous soutenons que le processus de pré-apprentissage des MLH peut être compris comme une forme de méta-apprentissage, permettant aux réseaux de neurones profonds (RND) de réaliser une généralisation combinatoire. Nous discutons ensuite des implications de ces résultats pour l'étude de la compositionnalité en cognition humaine et des orientations de recherche futures.

Takeaways, Limitations

Takeaways:
Les modèles linguistiques à grande échelle (LLM) ont démontré des capacités de généralisation combinatoire, suggérant que les réseaux neuronaux pourraient potentiellement atteindre des capacités cognitives de niveau humain.
Nous démontrons que le biais inductif structurel et le méta-apprentissage sont des moyens efficaces pour conférer des capacités de généralisation combinatoire aux réseaux neuronaux.
Il offre une nouvelle perspective sur la compréhension du processus de pré-apprentissage du LLM en tant que méta-apprentissage.
Il présente une nouvelle perspective et une orientation de recherche future sur la nature combinatoire de la cognition humaine.
Limitations:
Des recherches supplémentaires sont nécessaires pour déterminer si les capacités combinatoires du LLM sont équivalentes à celles des humains.
Une compréhension plus approfondie des mécanismes précis du biais inductif structurel et du méta-apprentissage est nécessaire.
Des recherches supplémentaires sont nécessaires sur les limites et les contraintes des capacités combinatoires du LLM.
👍