본 논문은 대규모 언어 모델(LLM)의 다국어 성능 향상을 위해 코드 전환 커리큘럼 학습(CSCL)이라는 새로운 방법을 제안합니다. 인간의 제2 언어 습득 과정, 특히 코드 전환(대화 중 언어 전환)에서 영감을 얻어, 토큰 수준, 문장 수준의 코드 전환과 단일 언어 말뭉치를 단계적으로 학습하는 커리큘럼을 구성했습니다. Qwen 2, Gemma 2, Phi 3.5 모델을 사용하여 한국어, 일본어, 인도네시아어에 대한 실험을 진행한 결과, 기존의 단일 언어 지속적 사전 학습 방법에 비해 성능이 크게 향상됨을 보였습니다. 특히, 저자원 언어에 대한 성능 향상이 두드러졌으며, 코드 전환과 커리큘럼 학습이 상호 시너지 효과를 내는 것을 확인했습니다. 또한, CSCL이 언어 자원과 안전 정렬 간의 허위 상관 관계를 완화하여 보다 공정한 언어 전이 프레임워크를 제공함을 보여줍니다.
