본 논문은 다중 모드 대규모 언어 모델(MLLM)을 활용한 차트 이해의 어려움을 해결하기 위해, 통합 차트 메타데이터 생성 프레임워크인 ChartCards를 제안합니다. ChartCards는 데이터 테이블, 시각화 코드, 시각적 요소, 다차원 의미적 캡션 등 다양한 차트 정보를 체계적으로 통합하여 하나의 차트로 여러 하위 작업(텍스트-차트 검색, 차트 요약, 차트-테이블 변환, 차트 설명, 차트 질문 응답 등)을 지원합니다. 이를 통해 생성된 대규모 고품질 데이터셋 MetaChart (10,862개 데이터 테이블, 85,000개 차트, 170,000개 고품질 차트 캡션 포함)을 이용하여 다양한 차트 이해 작업에서 평균 5%의 성능 향상을 달성했습니다. 특히 텍스트-차트 검색 및 차트-테이블 변환 작업에서 Long-CLIP과 Llama 3.2-11B 모델은 각각 17%와 28%의 성능 향상을 보였습니다.
