Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Más allá de la recuperación del adaptador: composición que preserva la geometría latente mediante la proyección de tareas dispersas

Created by
  • Haebom

Autor

Pengfei Jin, Peng Shu, Sifan Song, Sekeun Kim, Qing Xiao, Cheng Chen, Tianming Liu, Xiang Li, Quanzheng Li

Describir

Este artículo presenta un método para construir adaptadores LoRA a partir de una biblioteca de módulos preentrenados mediante aprendizaje por transferencia con eficiencia de parámetros. Los enfoques existentes se basan en heurísticas de búsqueda simples o promedios uniformes, que ignoran la estructura latente de las relaciones entre tareas en el espacio de representación. Este artículo propone un nuevo marco para la reutilización de adaptadores, formulando la construcción de adaptadores como un problema de reconstrucción dispersa con reconocimiento geométrico. Específicamente, representamos cada tarea como un vector prototipo latente derivado del codificador de un modelo base y aproximamos el prototipo de la tarea objetivo como una combinación lineal dispersa de los prototipos de referencia recuperados bajo un objetivo de optimización regularizado ℓ1. Los pesos combinados resultantes se utilizan para combinar los adaptadores LoRA correspondientes y generar un adaptador compuesto adaptado a la tarea objetivo. Esta formulación no solo preserva la estructura geométrica local de la variedad de representación de la tarea, sino que también selecciona un conjunto mínimo de adaptadores relevantes, lo que promueve la interpretabilidad y una reutilización eficiente. Demostramos la eficacia de este enfoque en diversos ámbitos, como la segmentación de imágenes médicas, la generación de informes médicos y la síntesis de imágenes. Los resultados experimentales resaltan los beneficios de combinar la búsqueda y la optimización consciente de la geometría latente para mejorar la generalización de disparo cero.

Takeaways, Limitations

Takeaways:
Superar las limitaciones de los métodos existentes de búsqueda simple y reutilización de adaptadores LoRA basados en promedios
Aproveche la información geométrica latente para permitir configuraciones de adaptadores más precisas y eficientes.
Se mejora la interpretabilidad y la eficiencia al seleccionar solo el número mínimo de adaptadores relevantes a través de combinaciones lineales dispersas.
Demostración de un rendimiento mejorado de generalización de disparo cero en diversos dominios.
Limitations:
La eficacia del método propuesto puede depender de conjuntos de datos y tareas específicos.
El costo computacional de la optimización de la regularización ℓ1 puede ser relativamente alto.
Se necesitan más experimentos en una gama más amplia de tareas y dominios.
👍