En este artículo, proponemos una técnica de enrutamiento analítico de subespacios (ASR) para resolver el problema del aprendizaje continuo (CL) de los modelos de lenguaje a gran escala (LLM). Las técnicas de aprendizaje continuo existentes presentan el problema de reutilizar datos previos, lo que genera costos computacionales adicionales o utiliza módulos de eficiencia de un solo parámetro, lo que limita la absorción de nuevo conocimiento. ASR separa el aprendizaje dentro del subespacio de características de la capa profunda para cada tarea, eliminando así la interferencia de conocimiento entre tareas. Además, utiliza eficientemente el conocimiento aprendido en varios subespacios mediante un mecanismo de enrutamiento analítico. Aprende un modelo de enrutador multitarea mediante el método recursivo de mínimos cuadrados, lo que permite que el enrutador se adapte dinámicamente a los datos entrantes sin acceder a datos anteriores, asignando la tarea actual a un subespacio apropiado y garantizando la propiedad de no olvido para las tareas previamente aprendidas. Los resultados experimentales muestran que ASR supera eficazmente las limitaciones de los métodos existentes al integrar fluidamente la nueva información y mantener el conocimiento previo casi a la perfección.
