Cet article présente CURE, un nouveau framework léger permettant de traiter les corrélations erronées basées sur des concepts qui compromettent la robustesse et l'équité des modèles linguistiques pré-entraînés. CURE extrait les représentations non pertinentes pour les concepts grâce à un extracteur de contenu alimenté par un réseau d'inversion, minimisant ainsi la perte d'informations pertinentes pour la tâche. Un module de correction de biais contrôlable ajuste ensuite l'influence des indices conceptuels résiduels grâce à l'apprentissage contrastif, permettant au modèle de réduire les biais préjudiciables ou d'exploiter les corrélations bénéfiques adaptées à la tâche cible. Évalué sur les jeux de données IMDB et Yelp à l'aide de trois architectures pré-entraînées, CURE permet d'obtenir des gains de performance absolus de +10 points pour les scores F1 sur IMDB et +2 points sur Yelp, tout en minimisant la charge de calcul. Cette étude présente un modèle flexible, basé sur l'apprentissage non supervisé, pour traiter les biais conceptuels, ouvrant la voie à des systèmes de compréhension du langage plus fiables et plus justes.
