Cet article aborde le problème des hallucinations dans les modèles linguistiques à grande échelle (MLH), c'est-à-dire la génération de résultats erronés ou non pertinents. À l'aide d'une série de modèles Pythia, nous étudions la relation entre l'incertitude de la dynamique d'apprentissage et la survenue d'hallucinations. Nous identifions une variabilité significative dans le processus d'apprentissage et proposons le protocole d'apprentissage SenD (Sensitivity Dropout), qui supprime de manière déterministe les indices d'intégration très volatils pour y remédier. Nous développons et intégrons également l'Efficient EigenScore (EES), une mesure de détection d'hallucinations non supervisée deux fois plus rapide que l'EigenScore conventionnel, dans SenD. SenD améliore jusqu'à 17 % la fiabilité des tests des modèles Pythia et Llama et améliore la précision factuelle sur Wikipédia, la médecine, le droit et le codage sans affecter les performances des tâches en aval.
