Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

VectorFit: Ajuste fino adaptativo de vectores singulares y sesgados de modelos de base preentrenados

Created by
  • Haebom

Autor

Suhas G Hegde, Shilpy Kaur, Aruna Tiwari

Describir

Este artículo destaca el problema de que los métodos existentes de ajuste fino con eficiencia de parámetros (PEFT) aprenden nuevos pesos de bajo rango o dispersos en paralelo con pesos preentrenados ($W$), pero aprenden estos pesos desde cero, lo que resulta en una brecha de rendimiento. Para abordar esto, proponemos un nuevo método de parametrización, VectorFit. VectorFit aprovecha eficientemente el conocimiento existente inherente a $W$ para aprender adaptativamente vectores singulares y sesgos, generando así una matriz de pesos incrementales de alto rango $\Delta W$, similar al ajuste fino completo. Mediante experimentos en 19 tareas diversas de lenguaje y visión (incluyendo comprensión y generación de lenguaje natural, respuesta a preguntas, clasificación de imágenes y generación de imágenes), demostramos que VectorFit logra un rendimiento superior en comparación con los métodos PEFT existentes con nueve veces menos parámetros aprendibles.

Takeaways, Limitations

•
Takeaways:
◦
Presentamos VectorFit, un nuevo método de parametrización que supera las limitaciones de rendimiento de los métodos PEFT existentes.
◦
Mejoramos significativamente la eficiencia de los parámetros al aprovechar las propiedades estructurales y transformacionales de los pesos preentrenados.
◦
Supera los métodos existentes en una variedad de tareas de lenguaje y visión.
◦
Puede mantener un alto rendimiento incluso en entornos con recursos limitados.
•
Limitations:
◦
Los resultados experimentales presentados en este artículo podrían limitarse a conjuntos de datos y tareas específicos. Se requieren experimentos más diversos y extensos.
◦
Se necesita más investigación para determinar si las mejoras de rendimiento de VectorFit se generalizan a todos los tipos de modelos y conjuntos de datos.
◦
Falta un análisis detallado de la complejidad computacional y los requisitos de memoria de VectorFit.
👍
Made with Slashpage