Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo. La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro. Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.
Sustitutos transferibles en espacios de búsqueda de arquitectura neuronal expresiva
Created by
Haebom
Autor
Shiwen Qin, Gabriela Kadlecov a, Martin Pil at, Shay B. Cohen, Roman Neruda, Elliot J. Crowley, Jovita Lukasik, Linus Ericsson
Describir
Este artículo aborda el problema de equilibrar un espacio de búsqueda expresivo y la evaluación eficiente de la arquitectura en la búsqueda de arquitectura neuronal (NAS). Estudiamos la mejora de la búsqueda mediante el entrenamiento de modelos sustitutos en un espacio de búsqueda NAS altamente expresivo basado en gramáticas independientes del contexto. Demostramos que los modelos sustitutos entrenados pueden predecir el rendimiento de la arquitectura dentro y fuera de conjuntos de datos con un alto poder predictivo mediante el uso de métricas proxy de coste cero y características de grafos neuronales (GRAF) o mediante el ajuste fino de un modelo de lenguaje (LM) existente. Además, demostramos que el uso de estos modelos sustitutos puede acelerar significativamente la búsqueda y mejorar el rendimiento final al filtrar arquitecturas inadecuadas al buscar en un nuevo conjunto de datos, y que los modelos sustitutos pueden utilizarse directamente como objetivo de búsqueda para mejorar drásticamente la velocidad.
Takeaways, Limitations
•
Takeaways:
◦
Demostramos que los modelos sustitutos que utilizan métricas proxy de costo cero y GRAF o LM convencional ajustado pueden predecir eficazmente el rendimiento de la arquitectura en el espacio de exploración NAS.
◦
Los modelos sustitutos se pueden utilizar para acelerar la exploración de nuevos conjuntos de datos y mejorar el rendimiento final.
◦
El uso de modelos sustitutos directamente como objetivos de búsqueda puede mejorar drásticamente la velocidad de búsqueda.
•
Limitations:
◦
Es posible que se necesiten análisis adicionales para determinar la precisión predictiva del modelo sustituto.
◦
Es posible que se requieran evaluaciones del desempeño de generalización para diferentes tipos de espacios de búsqueda NAS.
◦
Es posible que falte información detallada sobre la estructura específica y el proceso de entrenamiento del modelo sustituto utilizado.
