Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Unmasking Deceptive Visuals: Benchmarking Multimodal Large Language Models on Misleading Chart Question Answering

Created by
  • Haebom

저자

Zixin Chen, Sicheng Song, Kashun Shum, Yanna Lin, Rui Sheng, Huamin Qu

개요

본 논문은 다양한 유형의 오해를 불러일으키는 차트를 식별하고 해석하는 대규모 다중 모달 데이터셋인 Misleading ChartQA 벤치마크를 소개한다. 3,000개 이상의 예시를 포함하며, 21가지 유형의 오해 유발 요소와 10가지 차트 유형을 다룬다. 각 예시는 표준화된 차트 코드, CSV 데이터, 라벨이 지정된 설명이 있는 객관식 질문으로 구성되며, 다단계 MLLM 검사와 전문가 검토를 거쳤다. 16개의 최첨단 MLLM을 벤치마킹하여 시각적 기만 행위 식별의 한계를 밝히고, 오해 유발 요소를 탐지하고 지역화하는 새로운 파이프라인을 제안하여 MLLM의 정확도를 향상시킨다. 본 연구는 MLLM 기반의 오해 유발 차트 이해 발전을 위한 기반을 마련하며, 샘플 데이터셋을 공개하여 추가 연구를 지원한다.

시사점, 한계점

•
시사점:
◦
오해를 유발하는 차트를 식별하고 해석하는 MLLM의 성능을 평가하기 위한 대규모 다중 모달 데이터셋 Misleading ChartQA 벤치마크를 제공한다.
◦
최첨단 MLLM의 오해 유발 차트 해석 능력의 한계를 밝히고, 성능 향상을 위한 새로운 파이프라인을 제안한다.
◦
MLLM 기반의 오해 유발 차트 이해 연구를 위한 기반을 마련하고, 샘플 데이터셋을 공개하여 추가 연구를 지원한다.
•
한계점:
◦
벤치마킹된 MLLM들의 오해 유발 차트 식별 능력에 여전히 한계가 존재한다.
◦
제시된 새로운 파이프라인의 일반화 성능 및 다양한 유형의 오해 유발 차트에 대한 적용성에 대한 추가 연구가 필요하다.
◦
데이터셋의 규모와 다양성을 더욱 확장할 필요가 있다.
👍
Made with Slashpage