Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

LoSiA: Ajuste fino eficiente de alto rango mediante la localización y optimización de subredes

Created by
  • Haebom

Autor

Xujia Wang, Yunjia Qi, Bin Xu

Describir

Los métodos de ajuste fino con eficiencia de parámetros (PEFT), como LoRA, introducen matrices de descomposición de bajo coeficiente para reducir significativamente el número de parámetros aprendibles. Sin embargo, los métodos existentes realizan numerosas multiplicaciones de matrices en tareas específicas del dominio, lo que resulta en una baja eficiencia computacional y un bajo rendimiento de ajuste fino. En este artículo, proponemos la Adaptación de Integración de Subredes de Bajos Recursos (LoSiA). LoSiA es un método innovador para encontrar y optimizar dinámicamente parámetros importantes durante el proceso de aprendizaje. Específicamente, utiliza el análisis de dispersión de gradiente para identificar subredes y optimizarlas como objetivos aprendibles. Este diseño permite una adaptación efectiva de alto coeficiente actualizando únicamente los parámetros de la subred, lo que reduce las multiplicaciones de matrices adicionales. También presentamos LoSiA-Pro, que reduce el retraso de aprendizaje en aproximadamente un 27% en comparación con LoRA. Evaluaciones exhaustivas muestran que el método propuesto logra la mínima degradación del rendimiento en comparación con el ajuste fino completo, a la vez que requiere el menor tiempo de aprendizaje en tareas específicas del dominio y de razonamiento de sentido común. Análisis adicionales muestran que LoSiA reduce el olvido durante el aprendizaje continuo.

Takeaways, Limitations

Takeaways:
Propuesta de LoSiA, un método novedoso para resolver el problema de ineficiencia computacional del método PEFT existente.
Lograr de manera efectiva una adaptación de alto coeficiente a través de la optimización de subredes.
Implementación de LoSiA-Pro con un tiempo de entrenamiento más corto que LoRA.
Consiga un rendimiento excelente con una degradación mínima del rendimiento en comparación con el ajuste fino completo.
Confirmando el efecto de reducción del olvido durante el aprendizaje continuo.
Limitations:
Es necesaria una mayor verificación de la generalización de los resultados experimentales presentados en el artículo.
Se necesita más investigación para explorar la aplicabilidad de LoSiA a diversas arquitecturas y tareas de modelos.
Existe la posibilidad de que la aceleración de LoSiA-Pro dependa de entornos de hardware específicos.
👍