Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Hacia redes neuronales de punta eficientes y precisas mediante la asignación adaptativa de bits

작성자
  • Haebom

Autor

Xingting Yao, Qinghao Hu, Fei Zhou, Tielong Liu, Gang Li, Peisong Wang, Jian Cheng

Describir

Este artículo se centra en las redes neuronales de picos multibit (SNN) que buscan una IA de alta precisión y eficiencia energética. Las SNN multibit existentes presentan mejoras desproporcionadas en el rendimiento debido al aumento de la demanda de memoria y computación a medida que aumenta el número de bits. Basándonos en el análisis de las diferencias de importancia entre capas, este artículo propone una estrategia adaptativa de asignación de bits para SNN entrenadas directamente, lo que permite una asignación precisa de memoria y recursos computacionales a cada capa. Al parametrizar la longitud temporal y el ancho de bit de pesos y picos, lo que permite el aprendizaje y el control mediante gradientes, mejoramos la eficiencia y la precisión de las SNN. Para abordar los desafíos que plantean la variación de los anchos de bit y las longitudes temporales, proponemos neuronas de picos mejoradas que manejan diversas longitudes temporales, permiten la derivación de gradientes para longitudes temporales y son más adecuadas para la cuantificación de picos. Además, formalizamos teóricamente el problema del desajuste del tamaño de paso en anchos de bit aprendibles y proponemos un mecanismo de actualización del tamaño de paso para mitigar los graves errores de cuantificación resultantes. Experimentos con diversos conjuntos de datos, como CIFAR, ImageNet, CIFAR-DVS, DVS-GESTURE y SHD, demuestran que el método propuesto puede mejorar la precisión a la vez que reduce los costos totales de memoria y computación. En concreto, el SEWResNet-34 propuesto alcanza una precisión un 2,69 % mayor y un presupuesto de bits 4,16 veces menor que el modelo base de vanguardia en ImageNet. Los resultados de esta investigación se publicarán próximamente.

Takeaways, Limitations

•
Takeaways:
◦
Se propone una nueva estrategia de asignación de bits adaptativa para mejorar la eficiencia y la precisión de las SNN de múltiples bits.
◦
Gestión eficiente de recursos mediante la asignación jerárquica de memoria y recursos computacionales.
◦
Se propone un mecanismo mejorado de actualización del tamaño de paso y de neuronas de pico para abordar los desafíos de variar los anchos de bits y las longitudes temporales.
◦
Las mejoras de rendimiento se verificaron mediante experimentos en varios conjuntos de datos.
◦
Se logró una mejora significativa en la precisión y una reducción del presupuesto de bits en comparación con el modelo de mejor rendimiento anterior en ImageNet.
◦
Contribución a la academia y la industria a través de la divulgación de los resultados de investigación.
•
Limitations:
◦
Se necesita más investigación sobre el rendimiento de generalización del método propuesto.
◦
Se necesita una evaluación del rendimiento para conjuntos de datos más complejos o redes más grandes.
◦
Se necesita más investigación para establecer los parámetros óptimos del mecanismo de actualización del tamaño del paso.
◦
Necesidad de analizar la sobrecarga computacional de las estrategias de asignación de bits adaptativas.
👍
Slashpage로 제작됨