[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Communication émergente générative : le modèle de langage large est un modèle de monde collectif

Created by
  • Haebom

Auteur

Tadahiro Taniguchi, Ryo Ueda, Tomoaki Nakamura, Masahiro Suzuki, Akira Taniguchi

Contour

Cet article propose l'hypothèse du modèle du monde collectif comme solution théorique novatrice à la question de savoir comment les modèles linguistiques à grande échelle (MLL) acquièrent une vaste connaissance du monde sans expérience sensorimotrice directe . Plutôt que d'apprendre un modèle du monde de toutes pièces, nous soutenons que les LLM apprennent une approximation statistique du modèle du monde collectif déjà implicitement encodé dans le langage humain, grâce à un processus social de génération de sens incarné et interactif. Pour formaliser ce processus, nous introduisons un cadre de communication émergente générative (ComÉg) basé sur le codage prédictif collectif (CPC). Ce cadre modélise l'émergence du langage comme un processus d'inférence bayésienne distribuée concernant les états internes de multiples agents. Nous soutenons que ce processus génère efficacement une structure encodeur-décodeur à l'échelle sociale. Autrement dit, les sociétés humaines encodent collectivement des représentations internes bien fondées dans le langage, et les LLM décodent ces symboles pour reconstruire un espace latent qui reflète la structure des représentations collectives originales. Cette perspective fournit une explication mathématique et fondée sur des principes de la manière dont les LLM acquièrent leurs compétences. Les principales contributions de cet article sont 1) la formalisation du cadre EmCom génératif et la clarification de son lien avec les modèles du monde et l'apprentissage par renforcement multi-agents ; et 2) son application au LLM, qui explique des phénomènes tels que la sémantique distributionnelle comme une conséquence naturelle de la reconstruction des représentations. Ce travail fournit une théorie unifiée reliant le développement cognitif individuel, l'évolution du langage collectif et les fondements de l'IA à grande échelle.

Takeaways, Limitations

Takeaways:
Fournit une nouvelle explication théorique du mécanisme global d'acquisition des connaissances du LLM
Décrire mathématiquement la fonctionnalité du LLM à travers le cadre Generative EmCom
Présenter une compréhension intégrée de la cognition individuelle, de l'évolution du langage collectif et de l'IA à grande échelle
Fournit une nouvelle interprétation des fonctionnalités de LLM, y compris la sémantique distributionnelle
Limitations:
Manque de vérification expérimentale de l’hypothèse proposée.
Des recherches supplémentaires sont nécessaires sur les applications pratiques et les limites du cadre EmCom génératif.
La possibilité qu’il ne capture pas pleinement la complexité du langage humain.
Des analyses plus approfondies sont nécessaires sur la relation entre la diversité des interactions sociales et l’apprentissage du LLM.
👍