본 논문은 대규모 언어 모델(LLM)이 고자원 언어 외의 다른 과제에서 어려움을 겪는 문제를 다룬다. 특히, 작업별 사후 훈련 데이터가 부족한 저자원 언어로의 상호 언어적 전이를 연구한다. 모델 매개변수의 수학적 추론 및 다국어 기능에 가장 중요한 하위 집합이 겹치지 않음을 확인하고, 이를 활용하여 미세 조정 중 두 기능을 결합하는 여러 모듈식 프레임워크를 개발 및 분석한다. 이러한 방법은 일반적으로 매개변수 고정 또는 사후 모델 병합을 사용하여 수학 및 언어 개선을 LLM의 다른 주요 부분에 할당한다. 저자원 언어의 수학 데이터가 없는 상황에서, 모듈식 접근 방식이 세 개의 언어, 네 개의 모델 및 두 가지 미세 조정 패러다임(전체 및 LoRA)에서 기준선을 성공적으로 개선함을 보여준다.
