Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Poda sináptica: una inspiración biológica para la regularización del aprendizaje profundo

Created by
  • Haebom

Autor

Gideon Vos, Liza van Eijk, Zoltan Sarnyai, Mostafa Rahimi Azghadi

Describir

Inspirados en la poda sináptica del cerebro biológico, proponemos un método de poda sináptica basado en el tamaño que elimina progresivamente las conexiones de baja importancia durante el entrenamiento. Se puede aplicar a diversos modelos de predicción de series temporales, como RNN, LSTM y transformadores de series temporales de parches, reemplazando la pérdida de datos y se integra directamente en el bucle de entrenamiento. La importancia de los pesos se calcula en función del tamaño absoluto y se utiliza una programación cúbica para aumentar progresivamente la dispersión global. Al eliminar periódica y permanentemente los pesos de baja importancia y mantener el flujo de gradiente para los pesos activos, eliminamos la necesidad de realizar pasos separados de poda y ajuste.

Takeaways, Limitations

Takeaways:
Se propone una nueva técnica de regularización que mejora la eficiencia al imitar la poda sináptica biológica.
Mejora del rendimiento en varios modelos de pronóstico de series temporales mediante la sustitución del método de abandono.
Reducción de hasta un 20% de MAE en previsiones financieras, reducción de hasta un 52% en algunos modelos de Transformers.
Integrado directamente en su circuito de entrenamiento para facilitar su uso
No es necesario realizar pasos separados de poda y ajuste fino
Limitations:
El rendimiento puede variar según la arquitectura del modelo específico o las características del conjunto de datos.
Se necesitan más investigaciones sobre el rendimiento de la generalización.
No imita perfectamente la poda en el cerebro biológico (por ejemplo, la poda dependiente de la actividad)
👍