Cet article propose une nouvelle approche centrée sur les tâches des pondérations pré-entraînées dans les modèles linguistiques à grande échelle (MLH) et propose l'hypothèse de l'ADN poubelle. On a traditionnellement cru que les pondérations des MLH présentaient une redondance significative, permettant de supprimer une part significative des paramètres sans dégradation des performances. Cependant, cet article réfute cette hypothèse. En effet, de faibles pondérations pré-entraînées codent des connaissances importantes, essentielles à la résolution de sous-tâches difficiles. Ceci est démontré par la relation selon laquelle la dégradation des performances des sous-tâches lorsque les pondérations pré-entraînées sont supprimées par ordre de taille varie de façon monotone avec le degré de difficulté. De plus, nous montrons que même si l'apprentissage continu des sous-tâches est autorisé, ces pondérations apparemment insignifiantes peuvent entraîner une perte irréversible de connaissances et une dégradation des performances sur les tâches difficiles. Il est intéressant de noter que d'autres méthodes de compression courantes, comme la quantification, ne présentent pas d'effets monotones similaires et ne parviennent pas à découpler de manière convaincante ces informations sur la difficulté des tâches. Pour les études formelles, nous introduisons plusieurs indicateurs quantifiables mesurant la difficulté des sous-tâches (1) au sein d'une même catégorie de tâches et (2) entre différentes catégories de tâches. Nous validons l'hypothèse de l'ADN poubelle grâce à des expériences approfondies portant sur une variété de tailles de modèles, de tâches, d'ensembles de données et de méthodes d'élagage.
