본 논문은 차트 이해를 위한 새로운 다중 모달 대규모 언어 모델(MLLM)인 ChartMoE를 제안합니다. 기존 MLLM들이 차트만으로 정확한 데이터와 신뢰할 만한 분석을 제공하는 데 어려움을 겪는다는 점을 해결하기 위해, 전문가 혼합(MoE) 아키텍처를 사용하여 모달 간격을 해소하는 새로운 접근 방식을 제시합니다. 여러 개의 선형 연결기를 서로 다른 정렬 작업을 통해 훈련하고, 이를 전문가 초기화 파라미터로 활용합니다. 또한, 약 100만 개의 차트-테이블-JSON-코드 4중항으로 구성된 ChartMoE-Align 데이터셋을 도입하여 세 가지 정렬 작업(차트-테이블/JSON/코드)을 수행합니다. 기존 연결기와 함께 다양한 전문가를 초기화하고 고품질 지식 학습을 통해 MoE 연결기와 LLM 파라미터를 더욱 개선합니다. 실험 결과, ChartMoE는 ChartQA 벤치마크에서 기존 최고 성능(80.48%)을 84.64%로 향상시켰습니다.
