Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Unmasking Deceptive Visuals: Benchmarking Multimodal Large Language Models on Misleading Chart Question Answering

Created by
  • Haebom
Category
Empty

저자

Zixin Chen, Sicheng Song, Kashun Shum, Yanna Lin, Rui Sheng, Huamin Qu

개요

본 논문은 다양한 유형의 오해를 불러일으키는 차트 시각화를 식별하고 해석하는 대규모 다중 모드 언어 모델(MLLM)의 능력을 평가하기 위해 Misleading Chart Question Answering (Misleading ChartQA) 벤치마크를 소개합니다. 3,000개 이상의 예시를 포함하는 이 벤치마크는 21가지 유형의 오해 유발 요소와 10가지 차트 유형을 다루며, 표준화된 차트 코드, CSV 데이터, 그리고 라벨이 지정된 설명이 있는 객관식 질문으로 구성됩니다. 16개의 최첨단 MLLM을 벤치마크하여 시각적 기만 행위를 식별하는 데 있어 MLLM의 한계를 밝히고, 오해를 불러일으키는 차트 해석의 정확도를 높이는 새로운 파이프라인을 제안합니다. 본 연구는 MLLM 기반의 오해 유발 차트 이해 발전을 위한 기반을 마련하고, 추가 연구를 지원하기 위해 데이터셋을 공개합니다.

시사점, 한계점

•
시사점:
◦
오해를 불러일으키는 차트 시각화를 식별하고 해석하는 MLLM의 성능을 평가하기 위한 대규모 벤치마크(Misleading ChartQA)를 제공합니다.
◦
최첨단 MLLM의 한계를 밝히고, 향상된 성능을 위한 새로운 파이프라인을 제시합니다.
◦
데이터셋을 공개하여 후속 연구를 지원합니다.
◦
MLLM 기반의 오해 유발 차트 이해 연구에 기여합니다.
•
한계점:
◦
현재 벤치마크에 포함된 오해 유발 요소 및 차트 유형의 종류가 제한적일 수 있습니다.
◦
제안된 파이프라인의 일반화 성능 및 다양한 유형의 오해 유발 요소에 대한 적용성에 대한 추가 연구가 필요합니다.
◦
인간 전문가의 검토에 의존하는 부분이 있어 객관성 확보에 대한 고려가 필요할 수 있습니다.
👍
Made with Slashpage