Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Mejora de la generalización de redes neuronales de picos mediante regularización temporal

Created by
  • Haebom

Autor

Boxuan Zhang, Zhen Xu, Kuan Tao

Describir

En este artículo, proponemos un método de entrenamiento de regularización temporal (TRT) que introduce un mecanismo de regularización dependiente del tiempo para resolver el problema de sobreajuste de las redes neuronales de punta (SNN), eficaces para el procesamiento de datos neuromórficos basado en eventos. Las SNN entrenadas directamente sufren un sobreajuste severo debido al tamaño limitado de los conjuntos de datos neuromórficos y al problema del desajuste de gradiente. El TRT mitiga este problema al imponer restricciones más estrictas en los primeros pasos de tiempo. Comparamos el rendimiento del TRT con métodos de vanguardia en los conjuntos de datos CIFAR10/100, ImageNet100, DVS-CIFAR10 y N-Caltech101, y verificamos su eficacia mediante estudios de ablación que incluyen la visualización del paisaje de pérdidas y el análisis de la curva de aprendizaje. Además, presentamos una interpretación teórica del mecanismo de regularización temporal del TRT basada en los resultados del análisis de información de Fisher y revelamos el fenómeno de la concentración de información temporal (TIC) mediante el seguimiento de la información de Fisher durante el entrenamiento del TRT. Este fenómeno se caracteriza por la concentración gradual de la información de Fisher en los primeros pasos de tiempo, lo que demuestra que el mecanismo de regularización por decaimiento temporal de TRT mejora el rendimiento de generalización del modelo al inducir a la red a aprender características sólidas en los primeros pasos de tiempo con información rica. El código fuente está disponible en GitHub.

Takeaways, Limitations

Takeaways:
Se presenta un nuevo método de entrenamiento (TRT) para aliviar eficazmente el problema de sobreajuste de las SNN.
Enfatizar la importancia de los pasos de tiempo iniciales y mejorar el rendimiento de generalización a través del mecanismo de normalización de tiempo.
Presentación de la base teórica de la TRT a través del análisis de información de Fisher y el descubrimiento del fenómeno de concentración de información temporal (TIC).
Lograr un rendimiento de última generación en diversos conjuntos de datos y abrir el código fuente
Limitations:
La eficacia del método propuesto podría limitarse a conjuntos de datos y estructuras de red específicos. Se requiere validación adicional en diversos entornos.
Falta de discusión detallada sobre la optimización de hiperparámetros de TRT.
Se necesitan más investigaciones sobre la generalización del mecanismo de normalización del tiempo.
👍