본 논문은 고자원 언어에서 저자원 언어로 대규모 언어 모델의 이점을 확장하는 데 있어 효과적인 교차 언어 전이가 중요한 과제임을 다룹니다. 기존 연구에서는 고자원 소스 언어의 작업 관련 데이터와 저자원 대상 언어의 비표지 데이터를 결합하는 다양한 접근 방식을 탐구했습니다. 본 논문에서는 사전 훈련된 모델의 가중치 행렬을 특이값 분해를 사용하여 잡음 제거한 후 크기 기반 가지치기를 수행하는 새로운 합성 가능한 SFT(Composable Sparse Fine-tuning) 접근 방식인 DeFT-X를 제시합니다. DeFT-X는 감정 분류(NusaX) 및 자연어 추론(AmericasNLI) 작업에서 다양한 극저자원 언어에 대해 평가되었으며, SFT 및 기타 주요 교차 언어 전이 기준선과 동등하거나 우수한 성능을 보였습니다.
