본 논문은 기존 대규모 언어 모델(LLM)에 새로운 언어를 효율적으로 통합하는 새로운 방법을 제시합니다. 영문 기반의 소규모 오픈소스 모델에 아랍어를 주입하여 15억 파라미터의 소형 모델 Kuwain을 학습시켰습니다. 기존 지식을 유지하면서 아랍어 성능을 평균 8% 향상시켰으며, 영어와 아랍어 모두를 위한 종합적인 모델을 훈련하는 것보다 비용 효율적인 대안을 제공합니다. 이는 광범위한 재훈련이나 많은 자원을 필요로 하는 프로세스 없이 언어 모델을 효율적이고 목표 지향적으로 확장할 가능성을 보여줍니다.
시사점, 한계점
•
시사점:
◦
기존 LLM에 새로운 언어를 효율적으로 추가하는 새로운 방법 제시
◦
기존 지식 손실 최소화하면서 타겟 언어 성능 향상 (평균 8%)
◦
대규모 재훈련 없이 비용 효율적으로 다국어 LLM 구축 가능성 제시
•
한계점:
◦
Kuwain 모델의 규모가 상대적으로 작아 (15억 파라미터) 더 큰 모델에 적용했을 때의 성능은 불확실함.
