Cet article identifie le phénomène de goulot d'étranglement lié à la saturation de l'information qui se produit dans l'apprentissage par transfert et propose une solution. L'apprentissage par transfert est une technique qui applique un modèle pré-entraîné avec diverses données à une nouvelle tâche. Cependant, les caractéristiques pré-entraînées ne peuvent garantir des performances suffisantes lorsqu'elles sont appliquées à un nouvel ensemble de données. Dans cet article, nous comparons les performances d'un modèle pré-entraîné à celles d'un modèle directement entraîné pour chaque tâche constitutive et découvrons un phénomène de goulot d'étranglement lié à la saturation de l'information qui empêche l'apprentissage de nouvelles caractéristiques lors de l'apprentissage de caractéristiques similaires concurrentes. Ce phénomène est influencé par des facteurs tels que la distribution et l'ordre des données, et suggère que s'appuyer uniquement sur un grand réseau n'est pas toujours efficace. Par conséquent, cet article propose une représentation plus riche des caractéristiques pour améliorer les performances de généralisation sur un nouvel ensemble de données et présente une nouvelle approche en complément des méthodes existantes.
