Este artículo aborda el problema de los memes de odio dirigidos a la comunidad LGBTQ+ que evaden los sistemas de detección incluso con alteraciones mínimas en los subtítulos o las imágenes. Utilizando el conjunto de datos PrideMM, construimos el primer benchmark de robustez combinando cuatro ataques realistas a subtítulos y tres corrupciones comunes de imágenes. Utilizando dos detectores de vanguardia, MemeCLIP y MemeBLIP2, como casos de estudio, presentamos un Adaptador de Eliminación de Ruido de Texto (TDA) ligero que mejora la resiliencia de MemeBLIP2. Los resultados experimentales muestran que MemeCLIP se degrada con mayor suavidad, mientras que MemeBLIP2 es particularmente sensible a la edición de subtítulos que interfiere con el procesamiento del lenguaje. Sin embargo, añadir TDA no solo soluciona esta debilidad, sino que también convierte a MemeBLIP2 en el modelo más robusto en general. Un análisis más detallado revela que, si bien todos los sistemas dependen en gran medida del texto, la elección de la arquitectura y los datos de preentrenamiento impactan significativamente la robustez. Este benchmark destaca las vulnerabilidades en los modelos de seguridad multimodal actuales y demuestra que los módulos ligeros y específicos como TDA son una forma efectiva de lograr defensas más sólidas.