Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Sur l'impossibilité fondamentale du contrôle des hallucinations dans les grands modèles de langage

Created by
  • Haebom

Auteur

Micha P. Karpowicz

Contour

Cet article présente un théorème d'impossibilité fondamentale, affirmant qu'aucun modèle de langage à grande échelle (MLL) capable d'effectuer une agrégation de connaissances non triviale ne peut simultanément assurer une représentation fidèle (cohérente en interne), la préservation de l'information sémantique, la divulgation complète des connaissances pertinentes et une optimalité contrainte par les connaissances. Cette impossibilité ne découle pas d'une limitation technique, mais de la structure mathématique de l'agrégation d'informations elle-même. Nous établissons ce résultat en décrivant le processus d'inférence comme une vente aux enchères d'idées, où des composants distribués rivalisent pour former des réponses en utilisant leurs connaissances partielles. La preuve couvre trois domaines mathématiques indépendants : la théorie de la conception des mécanismes (Green-Laffont), la théorie des règles de notation appropriées (Savage) et une analyse architecturale directe des transformateurs (convexité Log-Sum-Exp). Plus précisément, nous montrons que dans des contextes strictement concaves, le score agrégé de diverses croyances dépasse strictement la somme de leurs scores individuels. Cette différence peut quantifier la génération d'une certitude ou d'un excès de confiance non attribuable, c'est-à-dire les origines mathématiques de l'illusion, de la créativité ou de l'imagination. Pour étayer cette analyse, nous introduisons les concepts complémentaires de mesures d'information sémantique et d'opérateurs d'émergence pour modéliser l'inférence bornée dans des contextes généraux. Nous démontrons que l'inférence bornée génère des informations accessibles qui fournissent des informations utiles et inspirantes, tandis que l'inférence idéale préserve strictement le contenu sémantique. En démontrant que les hallucinations et l'imagination sont des phénomènes mathématiquement équivalents, fondés sur une violation nécessaire de la préservation de l'information, cet article fournit une base de principe pour la gestion de ces comportements dans les systèmes d'IA avancés. Enfin, nous présentons quelques pistes pour évaluer et améliorer la théorie proposée.

Takeaways, Limitations_

Takeaways:
En découvrant les origines mathématiques des hallucinations et de la créativité du LLM, nous fournissons une base de principe pour comprendre et gérer ces phénomènes.
Nous présentons un nouveau cadre pour la modélisation de l'inférence bornée en introduisant de nouveaux concepts tels que les mesures d'information sémantique et les opérateurs d'émergence.
Nous modélisons le processus d’agrégation des connaissances du LLM comme une vente aux enchères d’idées, offrant une nouvelle perspective analytique.
Limitations:
La théorie proposée est encore spéculative et nécessite une vérification expérimentale supplémentaire.
Des recherches supplémentaires sont nécessaires pour déterminer l’applicabilité et la généralisabilité de la théorie aux systèmes LLM réels.
Sur la base de la théorie proposée, des recherches supplémentaires sont nécessaires sur des méthodologies spécifiques pour gérer efficacement les hallucinations et la créativité dans le LLM.
👍