Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo. La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro. Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.
DeInfoReg: un marco de aprendizaje desacoplado para un mejor rendimiento de la formación
Created by
Haebom
Autor
Zih-Hao Huang, You-Teng Lin, Hung-Hsuan Chen
Describir
En este artículo, proponemos un enfoque novedoso, el Aprendizaje Supervisado Desacoplado con Regularización de la Información (DeInfoReg), que transforma flujos de gradiente largos en múltiples flujos cortos para mitigar el problema del gradiente de desaparición. Al incorporar una estrategia de segmentación, DeInfoReg permite la paralelización de modelos en múltiples GPU, lo que mejora significativamente el rendimiento del entrenamiento. En este artículo, comparamos el método propuesto con la retropropagación estándar y otras técnicas de descomposición de flujos de gradiente. Mediante experimentos exhaustivos en diversas tareas y conjuntos de datos, demostramos que DeInfoReg logra un rendimiento superior y una mejor resistencia al ruido en comparación con los modelos BP convencionales, a la vez que utiliza eficientemente los recursos de computación paralela. El código para la reproducibilidad está disponible en https://github.com/ianzih/Decoupled-Supervised-Learning-for-Information-Regularization/ .
