Los métodos de ajuste fino con eficiencia de parámetros (PEFT), como LoRA, introducen matrices de descomposición de bajo coeficiente para reducir significativamente el número de parámetros aprendibles. Sin embargo, los métodos existentes realizan numerosas multiplicaciones de matrices en tareas específicas del dominio, lo que resulta en una baja eficiencia computacional y un bajo rendimiento de ajuste fino. En este artículo, proponemos la Adaptación de Integración de Subredes de Bajos Recursos (LoSiA). LoSiA es un método innovador para encontrar y optimizar dinámicamente parámetros importantes durante el proceso de aprendizaje. Específicamente, utiliza el análisis de dispersión de gradiente para identificar subredes y optimizarlas como objetivos aprendibles. Este diseño permite una adaptación efectiva de alto coeficiente actualizando únicamente los parámetros de la subred, lo que reduce las multiplicaciones de matrices adicionales. También presentamos LoSiA-Pro, que reduce el retraso de aprendizaje en aproximadamente un 27% en comparación con LoRA. Evaluaciones exhaustivas muestran que el método propuesto logra la mínima degradación del rendimiento en comparación con el ajuste fino completo, a la vez que requiere el menor tiempo de aprendizaje en tareas específicas del dominio y de razonamiento de sentido común. Análisis adicionales muestran que LoSiA reduce el olvido durante el aprendizaje continuo.
