Dans cet article, nous proposons une technique de routage analytique par sous-espace (ASR) pour résoudre le problème d'apprentissage continu (AC) des modèles de langage à grande échelle (MLH). Les techniques d'apprentissage continu existantes présentent le problème de la réutilisation des données précédentes, ce qui engendre des coûts de calcul supplémentaires ou utilise des modules d'efficacité à paramètre unique, ce qui limite l'assimilation de nouvelles connaissances. L'ASR sépare l'apprentissage au sein du sous-espace des caractéristiques de la couche profonde pour chaque tâche, éliminant ainsi les interférences de connaissances entre les tâches. De plus, il exploite efficacement les connaissances acquises dans différents sous-espaces grâce à un mécanisme de routage analytique. Il apprend un modèle de routeur multitâche par la méthode des moindres carrés récursifs, permettant au routeur de s'adapter dynamiquement aux données entrantes sans accéder aux données passées, d'affecter la tâche en cours à un sous-espace approprié et de garantir la non-oubli des tâches précédemment apprises. Les résultats expérimentaux montrent que l'ASR surmonte efficacement les limites des méthodes existantes en intégrant de manière transparente les nouvelles informations tout en préservant presque parfaitement les connaissances antérieures.
