Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Fusión delta modular con restricciones ortogonales: un marco escalable para la composición de modelos continuos y reversibles

Created by
  • Haebom

Autor

Haris Khan, Sadia Asif, Shumaila Asif

Describir

En implementaciones de aprendizaje automático en el mundo real, los modelos deben actualizarse, construirse y descartarse selectivamente según sea necesario. Sin embargo, los enfoques existentes de fusión de modelos y aprendizaje continuo a menudo sufren interferencias en las tareas, olvido catastrófico o falta de reversibilidad. En este artículo, proponemos la Fusión de Delta Modular con Restricciones Ortogonales (MDM-OC), un novedoso marco que permite la construcción escalable, sin interferencias y reversible de modelos optimizados. Cada modelo específico de tarea se codifica como un delta a partir de una base compartida y se proyecta en un subespacio ortogonal para eliminar conflictos. Estos deltas proyectados se fusionan posteriormente mediante optimización basada en gradientes para formar un modelo unificado que mantiene el rendimiento en todas las tareas. Este enfoque facilita la integración continua de nuevos modelos, la separación estructural para el cumplimiento de regulaciones como los requisitos del RGPD y la estabilidad del modelo mediante la fusión de pesos resilientes y la regeneración sintética. Experimentos exhaustivos con puntos de referencia de visión y procesamiento del lenguaje natural demuestran que MDM-OC supera los estándares previos en precisión, transferibilidad y fidelidad de separación, a la vez que mantiene un uso eficiente de la memoria y una gestión computacional eficiente. Este marco proporciona una solución sólida para el diseño de sistemas de IA modulares y compatibles.

Takeaways, Limitations

Takeaways:
Proporciona un marco de construcción de modelos de ajuste fino escalable, no intrusivo y reversible.
Soporte para la separación de modelos estructurales para cumplir con regulaciones como el RGPD
Mejora de la estabilidad del modelo mediante la integración de peso elástico y reproducción sintética.
Supera los métodos existentes en tareas de visión y procesamiento del lenguaje natural (precisión, inversión, fidelidad de separación)
Memoria eficiente y computacionalmente fácil de manejar
Limitations:
Este artículo no menciona explícitamente el Limitations específico. Se requieren más experimentos y aplicaciones a diversos conjuntos de datos para verificar con mayor precisión el rendimiento de la generalización. Investigaciones posteriores podrían revelar problemas como la dependencia de entornos de hardware específicos y limitaciones de escalabilidad.
👍