Cet article présente une nouvelle méthode permettant d'intégrer efficacement une nouvelle langue dans un modèle linguistique à grande échelle (MLH) existant. Nous avons entraîné un petit modèle open source basé sur l'anglais, Kuwain, avec 1,5 milliard de paramètres, en y injectant de l'arabe. Nous avons obtenu une amélioration moyenne de 8 % des performances en arabe tout en préservant les connaissances existantes, offrant ainsi une alternative économique à l'entraînement d'un modèle complet pour l'anglais et l'arabe. Cela démontre le potentiel d'une mise à l'échelle efficace et ciblée des modèles linguistiques, sans recyclage approfondi ni processus gourmands en ressources.
