Cet article aborde le problème des visuels trompeurs, qui manipulent des graphiques pour étayer des affirmations spécifiques, susceptibles de fausser la perception et de conduire à des conclusions erronées. Si les modèles linguistiques multimodaux à grande échelle (MLLM) existants excellent dans la compréhension des graphiques, leur capacité à détecter et interpréter ces derniers reste sous-explorée. Par conséquent, cette étude présente le benchmark Misleading ChartQA, un ensemble de données multimodales à grande échelle, visant à évaluer les performances des MLLM en matière d'inférence de graphiques trompeurs. Cet ensemble de données comprend 3 026 exemples couvrant 21 types d'éléments trompeurs et 10 types de graphiques, et comprend des codes graphiques standardisés, des données CSV, des questions à choix multiples et des descriptions étiquetées. Nous comparons 24 MLLM de pointe afin d'analyser leurs performances sur différents types d'éléments trompeurs et formats de graphiques, et proposons un nouveau pipeline d'inférence sensible au domaine qui améliore la précision du modèle. Cette étude pose les bases du développement de MLLM robustes et fiables, répondant aux exigences d'une communication visuelle responsable.
