Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Mejora del aprendizaje por transferencia de pocos intentos con un ajuste optimizado de indicaciones multitarea mediante la composición modular de indicaciones

Created by
  • Haebom

Autor

Ahmad Pouramini, Hesham Faili

Describir

Para mejorar el rendimiento del ajuste de indicaciones multitarea, este artículo propone un método que descompone las indicaciones para cada tarea en indicaciones compartidas (indicaciones fuente) e indicaciones específicas de la tarea (indicaciones privadas). Durante el entrenamiento, las indicaciones fuente se ajustan con precisión y se combinan con las indicaciones privadas para generar las indicaciones objetivo para cada tarea. Presentamos y comparamos varios métodos para combinar indicaciones fuente, analizando las funciones de las indicaciones fuente y privadas, y proporcionando configuraciones flexibles y ajustables para optimizar el rendimiento. Los resultados experimentales demuestran una mayor precisión y robustez en comparación con el ajuste de indicaciones existente y la investigación relacionada, y superan a otros métodos en diversas tareas, incluyendo el benchmark GLUE, particularmente en el entorno de disparo pequeño. Este logro requiere significativamente menos datos de entrenamiento, lo que sugiere que el método es útil en el entorno de disparo pequeño.

Takeaways, Limitations

Takeaways:
Se presenta un nuevo método para mejorar el rendimiento del ajuste de indicaciones en múltiples tareas.
Analice claramente los roles de los avisos de origen y los avisos privados y proporcione una configuración flexible en función de esto.
Supera los métodos existentes en entornos de disparos pequeños
Demuestra que se puede lograr un alto rendimiento con una pequeña cantidad de datos de entrenamiento.
Limitations:
Se necesitan más investigaciones para determinar el rendimiento de generalización del método propuesto.
Es necesaria una evaluación de escalabilidad para diversas tareas y modelos.
Se necesitan más investigaciones para optimizar la selección de fuentes de información y las estrategias de combinación.
👍