Cet article étudie la capacité d'autocorrection des modèles linguistiques à grande échelle (MLL), en particulier des LLM autorégressifs. Les LLM présentent un phénomène appelé « angle mort autocorrecteur », où ils peuvent identifier les erreurs dans les saisies utilisateur, mais peinent à corriger ces mêmes erreurs dans leurs propres résultats. Pour étudier systématiquement ce phénomène, nous présentons un cadre de référence autocorrecteur qui le mesure par injection d'erreurs contrôlée à trois niveaux de complexité. Nous testons 14 modèles et constatons un taux moyen d'angle mort de 64,5 %, principalement lié à la composition des données d'entraînement. Alors que les démonstrations entraînées par l'humain présentent principalement des réponses sans erreur plutôt que des processus de correction d'erreurs, les modèles entraînés par apprentissage par renforcement apprennent à corriger les erreurs grâce au retour d'information. Il est intéressant de noter qu'une simple méthode consistant à ajouter « Attendre » peut réduire l'angle mort de 89,3 %, ce qui suggère que cette capacité existe, mais doit être activée. En conclusion, cette étude met en évidence d'importantes limites des LLM actuels et suggère des pistes pour améliorer leur fiabilité et leur fiabilité.
