Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
Bannir les hallucinations du LLM nécessite de repenser la généralisation
Created by
Haebom
Auteur
Johnny Li, consul de Saksham, Eda Zhou, James Wong, Naila Farooqui, Yuxin Ye, Nithyashree Manohar, Zhuxiaona Wei, Tian Wu, Ben Echols, Sharon Zhou, Gregory Diamos
Contour
Cet article démontre expérimentalement que la compréhension conventionnelle des hallucinations dans les modèles linguistiques à grande échelle (MLH) – un problème d'équilibre entre créativité et réalisme – est en réalité inexacte. Grâce à des expériences sur la mémorisation de grands ensembles de données numériques aléatoires et à des modèles théoriques, nous démontrons que les hallucinations dans les MLH surviennent lorsque la perte d'apprentissage dépasse un certain seuil et sont un phénomène courant dans l'apprentissage de données à l'échelle d'Internet. Nous soulignons les limites des techniques existantes d'atténuation des hallucinations (qui utilisent des sources de connaissances externes) et proposons un nouveau modèle de réduction des hallucinations, Lamini-1, qui recherche dynamiquement des millions d'experts en mémoire.
Takeaways, Limitations
•
Takeaways: A contribué à améliorer la fiabilité du LLM en révélant des inexactitudes dans la compréhension actuelle des causes des hallucinations dans le LLM et en proposant un nouveau modèle d'élimination des hallucinations, Lamini-1. Présentation d'une nouvelle approche du problème des hallucinations du LLM.
•
Limitations: Une validation plus poussée des performances pratiques et de l'évolutivité du modèle Lamini-1 est nécessaire. Des recherches supplémentaires sont nécessaires pour déterminer son efficacité pour tous les types d'hallucinations. Une évaluation du coût de calcul et des besoins en mémoire de Lamini-1 est également nécessaire.
