Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Búsqueda de arquitectura neuronal de disparo cero con correlación de respuesta ponderada

Created by
  • Haebom

Autor

Kun Jing, Luoyu Chen, Jungang Xu, Jianwei Tai, Yiyu Wang, Shuaimin Li

Describir

Este artículo presenta un novedoso método de búsqueda de arquitectura neuronal (NAS) de disparo cero para el diseño automático de arquitecturas de redes neuronales. Para superar las limitaciones de los métodos NAS de disparo cero existentes en cuanto a eficiencia, estabilidad y generalidad, proponemos un nuevo proxy sin entrenamiento denominado Correlación de Respuesta Ponderada (WRCor). WRCor utiliza la matriz de coeficientes de correlación de las respuestas a diferentes muestras de entrada para calcular una puntuación proxy para la estructura estimada, midiendo así su expresividad y rendimiento de generalización. Los resultados experimentales demuestran que WRCor y el proxy basado en votación son estrategias de estimación más eficientes que los proxies existentes y, al combinarse con diversas estrategias de búsqueda, superan a los algoritmos NAS existentes. En el conjunto de datos ImageNet-1k, descubrimos una estructura que alcanza una tasa de error de prueba del 22,1 % en 4 horas de GPU. El código fuente está disponible públicamente.

Takeaways, Limitations

Takeaways:
Se propone un nuevo proxy (WRCor) para superar las limitaciones de los métodos NAS de disparo cero existentes.
El algoritmo NAS de disparo cero que utiliza WRCor supera a los algoritmos NAS existentes.
Descubrimiento de estructuras de alto rendimiento en poco tiempo en ImageNet-1k mediante exploración eficiente.
Garantizar la reproducibilidad y escalabilidad mediante la divulgación del código fuente
Limitations:
Se necesita una validación adicional del rendimiento de generalización del proxy WRCor.
Se necesitan experimentos adicionales en varios conjuntos de datos y tareas.
Necesidad de evaluar la dependencia de estrategias de búsqueda específicas
👍