Este artículo aborda el problema de que las imágenes engañosas, que manipulan gráficos para respaldar afirmaciones específicas, pueden distorsionar la percepción y llevar a conclusiones erróneas. Si bien los modelos de lenguaje multimodal a gran escala (MLLM) existentes son excelentes para comprender gráficos, su capacidad para detectar e interpretar gráficos engañosos aún no se ha explorado lo suficiente. Por lo tanto, este estudio presenta el punto de referencia Misleading ChartQA, un conjunto de datos multimodales a gran escala, para evaluar el rendimiento de los MLLM en la inferencia de gráficos engañosos. Este conjunto de datos consta de 3026 ejemplos que cubren 21 tipos de elementos engañosos y 10 tipos de gráficos, y consta de códigos de gráficos estandarizados, datos CSV, preguntas de opción múltiple y descripciones etiquetadas. Realizamos un análisis comparativo de 24 MLLM de última generación para analizar su rendimiento en diferentes tipos de elementos engañosos y formatos de gráficos, y proponemos una novedosa canalización de inferencia con reconocimiento de dominio que mejora la precisión del modelo. Este estudio sienta las bases para el desarrollo de MLLM robustos y confiables que satisfagan las demandas de una comunicación visual responsable.
