본 논문은 대규모 언어 모델(LLM) 및 대규모 멀티모달 모델(LMM)의 성능이 사전 훈련 데이터 세트의 품질과 규모에 크게 의존한다는 점에 주목하여, 아랍어에 특화된 새로운 멀티모달 데이터 세트를 구축하는 파이프라인 Wasm을 제시한다. 기존 연구에서 이미지와 텍스트가 혼합된 자연 문서로 훈련된 멀티모달 모델이 이미지-텍스트 쌍으로만 훈련된 모델보다 우수하다는 점을 기반으로, 아랍어의 경우 문서 구조를 보존하는 고품질 멀티모달 데이터 세트의 부족이 발전을 제한한다는 문제점을 해결하고자 한다. Common Crawl 데이터 세트를 처리하여 Markdown 형식의 아랍어 멀티모달 데이터 세트를 생성하는 Wasm 파이프라인을 제안하며, 텍스트 추출에만 초점을 맞춘 기존 아랍어 말뭉치와 달리 웹 콘텐츠의 구조적 무결성을 보존한다. 또한, 주요 기존 데이터 세트의 데이터 처리 파이프라인과 비교 분석을 수행하고, 향후 연구를 위해 대표적인 데이터 세트 덤프와 멀티모달 처리 파이프라인을 공개한다.
