Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Recherche d'architecture neuronale à zéro coup avec corrélation de réponse pondérée

Created by
  • Haebom

Auteur

Kun Jing, Luoyu Chen, Jungang Xu, Jianwei Tai, Yiyu Wang, Shuaimin Li

Contour

Cet article présente une nouvelle méthode de recherche d'architecture neuronale (NAS) à zéro coup pour la conception automatique d'architectures de réseaux neuronaux. Afin de surmonter les limites des méthodes NAS à zéro coup existantes en termes d'efficacité, de stabilité et de généralité, nous proposons un nouveau proxy sans apprentissage appelé corrélation pondérée des réponses (WRCor). WRCor utilise la matrice des coefficients de corrélation des réponses à différents échantillons d'entrée pour calculer un score proxy pour la structure estimée, mesurant ainsi son expressivité et ses performances de généralisation. Les résultats expérimentaux démontrent que WRCor et le proxy basé sur le vote sont des stratégies d'estimation plus efficaces que les proxys existants et, lorsqu'ils sont combinés à diverses stratégies de recherche, surpassent les algorithmes NAS existants. Sur le jeu de données ImageNet-1k, nous avons découvert une structure qui atteint un taux d'erreur de test de 22,1 % en 4 heures GPU. Le code source est accessible au public.

Takeaways, Limitations

Takeaways:
Un nouveau proxy (WRCor) proposé pour surmonter les limitations des méthodes NAS zero-shot existantes.
L'algorithme NAS Zero-shot utilisant WRCor surpasse les algorithmes NAS existants.
Découverte de structures hautes performances en peu de temps sur ImageNet-1k grâce à une exploration efficace.
Assurer la reproductibilité et l'évolutivité grâce à la divulgation du code source
Limitations:
Une validation supplémentaire des performances de généralisation du proxy WRCor est nécessaire.
Des expériences supplémentaires sont nécessaires sur divers ensembles de données et tâches.
Nécessité d'évaluer la dépendance à des stratégies de recherche spécifiques
👍