Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Une étude empirique des corrélations entre tâches et caractéristiques dans la réutilisation de modèles pré-entraînés

Created by
  • Haebom

Auteur

Jama Hussein Mohamud, Willie Brink

Contour

Cet article présente un dispositif permettant d'étudier expérimentalement les facteurs de succès de la réutilisation de réseaux de neurones pré-entraînés. Les résultats expérimentaux montrent que la corrélation entre deux tâches joue un rôle important dans le succès de la réutilisation de modèles pré-entraînés. Plus la corrélation entre les tâches est élevée, plus le taux de réussite de la réutilisation est élevé. Même en l'absence de corrélation, de bonnes performances peuvent être obtenues aléatoirement selon le choix des réseaux pré-entraînés et des optimiseurs. Lorsque la corrélation entre les tâches est faible, il est avantageux de ne réutiliser que les couches inférieures, et le nombre de couches à ré-entraînées peut être un indicateur de la corrélation entre les tâches et les caractéristiques. Enfin, nous montrons qu'en situation réelle, s'il existe une corrélation sémantique entre deux tâches, les réseaux pré-entraînés peuvent être efficacement réutilisés.

Takeaways, Limitations

Takeaways:
Nous constatons que le succès de la réutilisation de modèles pré-entraînés dépend fortement de la corrélation entre les deux tâches.
Nous montrons que même lorsque la corrélation entre les tâches est faible, des performances étonnamment élevées peuvent être obtenues en fonction du choix du processus de pré-formation (réseau, optimiseur).
Le nombre de couches à réutiliser peut être un indicateur de la corrélation entre les tâches et les fonctionnalités.
Nous démontrons expérimentalement que la réutilisation de réseaux pré-entraînés est efficace pour les tâches avec des corrélations sémantiques.
Limitations:
Des recherches supplémentaires sont nécessaires pour déterminer la généralisabilité de la configuration expérimentale présentée.
Des expérimentations plus poussées avec différents types de tâches et de réseaux sont nécessaires.
Des recherches supplémentaires sont nécessaires sur la manière de mesurer quantitativement les corrélations entre les tâches et les fonctionnalités.
👍