To pick up a draggable item, press the space bar.
While dragging, use the arrow keys to move the item.
Press space again to drop the item in its new position, or press escape to cancel.
InfoChartQA: A Benchmark for Multimodal Question Answering on Infographic Charts
Created by
Haebom
저자
Minzhi Lin, Tianchi Xie, Mengchen Liu, Yilin Ye, Changjian Chen, Shixia Liu
개요
InfoChartQA는 다양한 시각적 요소(예: 그림, 아이콘)를 포함한 인포그래픽 차트 이해 능력을 평가하기 위한 새로운 벤치마크입니다. 기존의 시각적 질의응답 벤치마크는 인포그래픽 차트의 시각적 요소에 기반한 질문을 다루지 못하는 한계가 있었는데, InfoChartQA는 동일한 데이터를 바탕으로 시각적 표현 방식만 다른 인포그래픽 차트와 일반 차트 5,642쌍을 제공하여 이 문제를 해결합니다. 여기에 시각적 요소에 기반한 질문들을 추가하여 MLLM의 시각적 이해 능력을 보다 정교하게 평가할 수 있도록 설계되었습니다. 20개의 MLLM을 평가한 결과, 특히 은유와 관련된 시각적 요소 기반 질문에서 인포그래픽 차트 이해 능력이 크게 저하되는 것을 확인했습니다. InfoChartQA는 정교한 오류 분석과 ablation study를 가능하게 하여 MLLM의 인포그래픽 차트 이해 능력 향상을 위한 새로운 가능성을 제시합니다. GitHub(https://github.com/CoolDawnAnt/InfoChartQA)에서 공개됩니다.
시사점, 한계점
•
시사점:
◦
인포그래픽 차트 이해에 특화된 새로운 벤치마크 InfoChartQA를 제시.
◦
기존 MLLM의 인포그래픽 차트 이해 능력의 한계를 명확히 밝힘. 특히 은유적 표현에 대한 이해 부족을 지적.
◦
인포그래픽 차트 이해 능력 향상을 위한 새로운 연구 방향 제시.
◦
쌍을 이룬 인포그래픽 차트와 일반 차트를 통해 정교한 오류 분석 및 ablation study 가능.
◦
데이터셋 공개를 통해 연구 공동체에 기여.
•
한계점:
◦
현재 벤치마크에 포함된 MLLM의 종류 및 수가 제한적일 수 있음.
◦
InfoChartQA의 범용성 및 다양한 유형의 인포그래픽 차트에 대한 적용성에 대한 추가 연구 필요.
