Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Sur les caractérisations pour la génération du langage : interaction entre hallucinations, ampleur et stabilité

Created by
  • Haebom

Auteur

Alkis Kalavasis, Anay Mehrotra, Grigoris Velegkas

Contour

Cet article étudie le problème de génération de langage extrême présenté par Kleinberg et Mullainathan [KM24]. L'algorithme de [KM24] peut générer des langages extrêmement complexes sur tous les langages dénombrables, mais il manque de largeur. Dans cet article, nous caractérisons le potentiel génératif de la notion originale de largeur et de ses extensions, et donnons des bornes inférieures pour diverses mesures de performance (par exemple, la perplexité, le taux d'hallucinations, etc.). Nous prouvons également des bornes inférieures inconditionnelles pour les générateurs stables, montrant que la génération de largeur devient difficile lorsque la stabilité est requise. Enfin, nous mettons en évidence l'interaction complexe entre largeur, stabilité et cohérence, et montrons la différence de génération de largeur approximative entre les générateurs stables et instables.

Takeaways, Limitations

Takeaways: Les limites théoriques de la largeur et de la stabilité des algorithmes de génération de langage existants ont été clairement identifiées. La difficulté de la génération de langage sous différents indicateurs de performance a été mathématiquement prouvée. La différence de performance entre les générateurs stables et instables a été théoriquement révélée.
Limitations: Cet article se concentre sur la recherche théorique et manque de vérification expérimentale sur des modèles réels de production langagière. La borne inférieure présentée n'est valable que sous certaines conditions et ne constitue pas un résultat universel applicable à toutes les situations. Il se concentre sur la discussion d'un concept d'étendue spécifique et ne prend pas en compte d'autres aspects importants (par exemple, la plausibilité sémantique des phrases générées).
👍