Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Une théorie de l'apprentissage avec une chaîne de pensée autorégressive

Created by
  • Haebom

Auteur

Nirmit Joshi, Gal Vardi, Adam Block, Surbhi Goel, Zhiyuan Li, Theodor Misiakiewicz, Nathan Srebro

Contour

Cet article étudie l'apprentissage d'une correspondance réponse-invite, où un générateur invariant dans le temps parcourt plusieurs étapes pour générer une chaîne de pensée, étant donné une classe de base générant une séquence de jetons, le jeton final servant de réponse. Nous formulons le problème d'apprentissage pour les cas où le processus de pensée est observé et ceux où il est appris uniquement à partir de paires réponse-invite (lorsque le processus de pensée est latent). Nous analysons ensuite la complexité d'échantillonnage et de calcul pour des classes de base spécifiques, telles que leurs propriétés générales (par exemple, la dimension VC) et les seuils linéaires. Nous présentons une classe de base simple qui permet l'apprentissage d'une chaîne de pensée universellement représentable et exploitable par calcul, et dont la complexité d'échantillonnage est indépendante de la longueur de la chaîne grâce à son invariance dans le temps. L'attention est naturellement introduite dans cette étude.

Takeaways, Limitations

Takeaways:
En montrant que la complexité de l'échantillon d'apprentissage des processus de pensée utilisant des générateurs invariants dans le temps ne dépend pas de la longueur du processus de pensée, nous suggérons la possibilité d'apprendre efficacement des processus de pensée longs.
Nous proposons une nouvelle classe de base pour l'apprentissage de processus de pensée universellement exprimables et efficaces sur le plan informatique.
Nous proposons un nouveau cadre dans lequel les mécanismes d’attention sont naturellement induits.
Limitations:
Il existe un manque de validation expérimentale des performances réelles et de la capacité de généralisation de la classe de base proposée.
Les limites de l’hypothèse d’invariance temporelle lorsqu’elle est appliquée à des problèmes du monde réel ne sont pas claires.
Des recherches supplémentaires sont nécessaires pour modéliser efficacement les processus de pensée complexes.
👍