[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Búsqueda de arquitectura neuronal con reglas de aprendizaje mixtas de inspiración biológica

Created by
  • Haebom

Autor

Imane Hamzaoui, Riad Bagdadi

Describir

En este artículo, proponemos un método para mejorar la precisión y la escalabilidad de redes neuronales bioinspiradas mediante la aplicación de diferentes reglas de aprendizaje biológico a cada capa mediante la Búsqueda de Arquitectura Neural (NAS). Extendemos el espacio de búsqueda de los modelos existentes basados en NAS para incluir diversas reglas de aprendizaje biológico y encontramos automáticamente la arquitectura y las reglas de aprendizaje óptimas para cada capa mediante NAS. Los resultados experimentales muestran que las redes neuronales que utilizan diferentes reglas de aprendizaje biológico para cada capa alcanzan una mayor precisión que las que utilizan una sola regla. En los conjuntos de datos CIFAR-10, CIFAR-100, ImageNet16-120 e ImageNet, superamos el mejor rendimiento de los modelos existentes de inspiración biológica y, en algunos casos, superamos a las redes basadas en retropropagación. Esto sugiere que la diversidad de reglas de aprendizaje por capa contribuye a una mejor escalabilidad y precisión.

Takeaways, Limitations

Takeaways:
Demostramos que asignar automáticamente reglas de aprendizaje biológico óptimas a cada capa a través de la búsqueda de arquitectura neuronal (NAS) es eficaz para mejorar el rendimiento.
Superar las limitaciones de precisión de los modelos existentes inspirados biológicamente mediante una combinación de diferentes reglas de aprendizaje biológico y, en algunos casos, lograr un rendimiento que supera a los modelos basados en retropropagación.
Sugerimos que la diversidad de reglas de aprendizaje por capa juega un papel importante en la mejora de la escalabilidad y la precisión de las redes neuronales.
Una nueva dirección en el estudio de redes neuronales de inspiración biológica (estudio de combinaciones de diversas reglas de aprendizaje).
Limitations:
El método propuesto puede resultar computacionalmente costoso (debido a la naturaleza de NAS).
El tipo y alcance de las reglas de aprendizaje biológico utilizadas pueden ser limitados.
Se necesita más investigación sobre el rendimiento de la generalización en diversos conjuntos de datos y tareas.
👍