저자들은 다국어 언어 모델(XLM-R 등)이 저자원 언어에 대해서는 성능이 저조하다는 점에 주목하며, 특히 최신 대규모 언어 모델(LLaMA, Qwen 등)은 XLM-R보다 지원 언어 수가 훨씬 적어 많은 언어에 대한 텍스트 생성 모델이 존재하지 않는다는 문제를 지적합니다. 이를 해결하기 위해, 저자들은 다국어 인코더를 저자원 언어의 텍스트 생성에 적용하는 새로운 프레임워크를 제안합니다. 인코더와 디코더 간 가중치 재사용을 통해 인코더의 학습된 의미 공간을 활용하여 저자원 언어에서 효율적인 학습과 효과적인 일반화를 가능하게 합니다. 이 프레임워크를 네 가지 중국 소수 민족 언어에 적용하여 XLM-SWCM을 제시하고, 훨씬 큰 모델과 비교했을 때 다양한 하위 작업에서 우수한 성능을 보여줍니다.
