본 논문은 다국어 기능을 갖춘 대규모 언어 모델(LLM)을 대상 언어 특화 모델로 전이하는 새로운 기법인 Semantic Aware Linear Transfer (SALT)를 제안합니다. 기존의 소스 모델 임베딩을 대상 언어 어휘로 대체하는 방법과 달리, SALT는 대상 언어 사전 훈련 언어 모델(PLM)의 임베딩을 재활용하여 PLM 기반 임베딩의 강점을 LLM에 전달합니다. 소스 및 대상 어휘의 중복 영역 유사성을 기반으로 고유한 회귀선을 도출하여 중복되지 않는 토큰의 임베딩 공간을 처리합니다. 실험 결과, SALT는 다른 전이 방법보다 성능이 뛰어나며, 언어 적응 과정에서 손실을 줄이고 수렴 속도를 높입니다. 특히, 다국어 이해 설정에서 다른 방법보다 뛰어난 성능을 보입니다. 또한, 다양한 아키텍처를 사용한 실험을 통해 현대 LLM의 기능 향상을 위한 PLM의 확장성 있는 사용을 강조합니다.
