Cet article présente deux contributions majeures pour résoudre le problème des biais sociaux dans les modèles linguistiques multimodaux à grande échelle (MLLM). Premièrement, nous introduisons le Comprehensive Counterfactual Dataset (CMSC), qui comprend 18 concepts sociaux diversifiés et équilibrés. Le CMSC complète les ensembles de données existants, permettant une approche plus globale de l'atténuation des biais sociaux. Deuxièmement, nous proposons une stratégie de débiasing anti-stéréotypes (CSD) pour atténuer les biais sociaux dans les MLLM en exploitant le contre-concept des stéréotypes répandus. Le CSD intègre une nouvelle méthode d'échantillonnage de données sensible aux biais et un rééquilibrage des pertes pour améliorer l'efficacité de la réduction des biais du modèle. Des expériences approfondies utilisant quatre architectures MLLM majeures démontrent que le jeu de données CMSC et la stratégie CSD réduisent efficacement les biais sociaux par rapport aux méthodes existantes, sans compromettre les performances globales sur les benchmarks d'inférence multimodale courants.
