Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo. La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro. Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.
LoSiA: Ajuste fino eficiente de alto rango mediante la localización y optimización de subredes
Created by
Haebom
Autor
Xujia Wang, Yunjia Qi, Bin Xu
Describir
Los métodos de ajuste fino con eficiencia de parámetros (PEFT), como LoRA, introducen matrices de descomposición de bajo coeficiente para reducir significativamente el número de parámetros aprendibles. Sin embargo, realizan numerosas multiplicaciones de matrices para tareas específicas del dominio, lo que resulta en una baja eficiencia computacional y un bajo rendimiento de ajuste fino. En este artículo, proponemos la Adaptación de Integración de Subredes de Bajos Recursos (LoSiA), un método innovador que identifica y optimiza dinámicamente parámetros importantes durante el proceso de entrenamiento. Específicamente, utilizamos el análisis de dispersión de gradiente para identificar subredes y optimizarlas como objetivos aprendibles. Este diseño permite una adaptación eficaz de alto coeficiente actualizando únicamente los parámetros de la subred, lo que reduce las multiplicaciones de matrices adicionales. También presentamos LoSiA-Pro, una implementación más rápida de LoSiA que reduce la latencia de entrenamiento en aproximadamente un 27% en comparación con LoRA. Evaluaciones exhaustivas demuestran que este método requiere los tiempos de entrenamiento más cortos para tareas específicas del dominio y de razonamiento de sentido común, a la vez que minimiza la degradación del rendimiento en comparación con el ajuste fino completo. Análisis posteriores confirman que LoSiA también reduce el olvido durante el entrenamiento continuo. El código fuente se puede encontrar en https://github.com/KlozeWang/LoSiA .
Se propone un nuevo método, LoSiA, para resolver el problema de ineficiencia computacional del método PEFT existente.
◦
Lograr una adaptación efectiva de alto coeficiente y un tiempo de entrenamiento reducido mediante la optimización de subredes a través del análisis de escasez de gradiente.
◦
Reducción de aproximadamente el 27% en el retraso del entrenamiento en comparación con LoRA (LoSiA-Pro).
◦
Minimiza la degradación del rendimiento y reduce el tiempo de entrenamiento en comparación con el ajuste fino completo.
◦
Confirmación del efecto de reducción del olvido durante el entrenamiento continuo.
•
Limitations:
◦
Es posible que el artículo carezca de criterios específicos de selección de subredes y detalles del algoritmo.
◦
Se necesita una mayor validación del rendimiento de generalización en diferentes modelos y tareas.
◦
Existe la posibilidad de que la tasa de mejora del rendimiento de LoSiA-Pro dependa de entornos específicos.
