Multi-modal Large Language Models (MLLMs)을 이용한 차트 이해는 새로운 기회를 제공하지만, task-specific fine-tuning에 필요한 고품질 데이터셋 확보의 어려움이 존재한다. 이에 본 논문은 ChartCards라는 통합 차트 메타데이터 생성 프레임워크를 제안한다. ChartCards는 데이터 테이블, 시각화 코드, 시각적 요소, 다차원 의미 캡션을 포함한 다양한 차트 정보를 체계적으로 합성하여 단일 차트가 텍스트-차트 검색, 차트 요약, 차트-테이블 변환, 차트 설명, 차트 질문 응답 등 여러 다운스트림 작업을 지원하도록 한다. ChartCards를 사용하여 10,862개의 데이터 테이블, 85,000개의 차트, 170,000개의 고품질 차트 캡션을 포함하는 대규모 고품질 데이터셋 MetaChart를 구축했다. MetaChart를 기반으로 6개의 모델을 fine-tuning한 결과, 모든 작업에서 평균 5%의 성능 향상을 보였으며, 특히 텍스트-차트 검색(Long-CLIP 17% 향상) 및 차트-테이블 변환(Llama 3.2-11B 28% 향상)에서 큰 폭의 향상을 확인했다.
