[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Ajuste de instrucción continua federada

Created by
  • Haebom

Autor

Haiyang Guo, Fanhu Zeng, Fei Zhu, Wenzhuo Liu, Da-Han Wang, Jian Xu, Xu-Yao Zhang, Cheng-Lin Liu

Describir

En este artículo, presentamos un modelo de referencia para el ajuste fino continuo de instrucciones (FCIT) basado en aprendizaje federado (FL) para abordar los desafíos de la recopilación masiva de datos y los costos computacionales necesarios para el ajuste fino de instrucciones de modelos multimodales (LMM) a gran escala. A diferencia de los métodos FL existentes, que asumen un número fijo de tareas, FCIT modela situaciones reales donde los clientes adquieren continuamente nuevos conocimientos y tienen dificultades para mantener las tareas existentes. Para ello, construimos un modelo de referencia que incluye dos escenarios realistas, cuatro configuraciones y doce conjuntos de datos de ajuste fino de instrucciones, y proponemos un método para abordar diversas heterogeneidades de datos y problemas de olvido mediante la construcción dinámica de conocimiento y la activación selectiva de subespacios. Los resultados experimentales muestran que el método propuesto mejora significativamente el rendimiento del modelo. El código y los conjuntos de datos están disponibles públicamente.

Takeaways, Limitations

Takeaways:
Presentamos un nuevo punto de referencia y método para reducir el costo del ajuste directivo de modelos multimodales a gran escala aprovechando el aprendizaje federado.
Proporciona puntos de referencia realistas que reflejan situaciones de aprendizaje continuo en entornos reales.
Resolver eficazmente el problema del olvido del aprendizaje asociativo tradicional, que es Limitations, a través de la construcción de conocimiento dinámico y técnicas de activación selectiva del subespacio.
Contribuir al avance de la investigación futura a través de código abierto y conjuntos de datos.
Limitations:
La evaluación del desempeño del método propuesto puede limitarse a conjuntos de datos y configuraciones específicos.
Es posible que no refleje plenamente la complejidad del entorno real.
Se necesitan experimentos con tipos más diversos de algoritmos LMM y FL.
👍