본 논문은 차트 이해 작업에서 뛰어난 성능을 보이는 다중 모달 대규모 언어 모델(MLLM)이 차트 정보를 텍스트로 변환하는 과정에서 정보 손실이 발생한다는 점을 지적합니다. 이를 해결하기 위해 차트를 코드로 변환하는 손실 없는 표현 방식을 제안하며, 기존 오픈소스 MLLM이 겪는 실행 가능성 저하 및 세부 정보 복원 실패, 그리고 대규모 다양한 훈련 데이터 부족이라는 두 가지 주요 과제를 해결하기 위해 ChartCoder를 제안합니다. ChartCoder는 코드 LLMs를 언어 기반으로 활용하여 생성 코드의 실행 가능성을 향상시키고, 대규모 다양한 데이터셋 Chart2Code-160k와 단계별 생성을 위한 Snippet-of-Thought (SoT) 방법을 함께 제시합니다. 실험 결과, 70억 개의 매개변수만으로도 기존 오픈소스 MLLM을 능가하는 차트 복원 및 코드 실행 가능성을 달성함을 보여줍니다.
