본 논문은 자연어와 시각적 지시자를 결합한 다중 모달 차트 편집 패러다임을 제시합니다. 기존의 자연어 기반 차트 편집 방식의 모호성 문제를 해결하기 위해, 사용자 의도를 자연어와 수정할 요소를 명시적으로 강조하는 시각적 지시자로 표현하는 방식을 제안합니다. 이를 지원하기 위해, 다층적 복잡성과 다각적 평가를 갖춘 새로운 다중 모달 차트 편집 벤치마크인 Chart$\text{M}^3$을 제시합니다. Chart$\text{M}^3$는 네 가지 수준의 편집 난이도를 가진 1,000개의 샘플을 포함하며, 각 샘플은 (차트, 코드, 다중 모달 지시)의 세 가지 요소로 구성됩니다. 시각적 외관과 코드 정확성을 모두 평가하는 지표를 제공하여 차트 편집 모델을 종합적으로 평가합니다. 본 논문은 Chart$\text{M}^3$을 통해 현재 다중 모달 대규모 언어 모델(MLLM)의 한계, 특히 시각적 지시자 해석 및 적용 능력의 부족을 보여주고, 이를 해결하기 위해 24,000개의 다중 모달 차트 편집 샘플로 구성된 대규모 학습 데이터셋 Chart$\text{M}^3$-Train을 구축합니다. MLLM을 이 데이터셋으로 미세 조정하면 성능이 크게 향상되어 다중 모달 지도 학습의 중요성을 보여줍니다. 데이터셋, 코드 및 평가 도구는 GitHub에서 공개됩니다.
