Este artículo presenta dos contribuciones importantes para abordar el problema del sesgo social en modelos lingüísticos multimodales a gran escala (MLLM). Primero, introducimos el Conjunto de Datos Contrafactuales Integral (CMSC), que incluye 18 conceptos sociales diversos y equilibrados. CMSC complementa los conjuntos de datos existentes, lo que permite un enfoque más integral para la mitigación del sesgo social. Segundo, proponemos una estrategia de eliminación del sesgo de contraestereotipos (CSD) para mitigar el sesgo social en MLLM aprovechando el contraconcepto de estereotipos generalizados. CSD integra un novedoso método de muestreo de datos consciente del sesgo y reequilibrio de pérdidas para mejorar la eficiencia de reducción de sesgo del modelo. Experimentos extensos utilizando cuatro arquitecturas MLLM principales demuestran que el conjunto de datos CMSC y la estrategia CSD reducen eficazmente el sesgo social en comparación con los métodos existentes, logrando esto sin comprometer el rendimiento general en los puntos de referencia comunes de inferencia multimodal.
