Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Repenser la régularisation de l'invariance dans l'entraînement contradictoire pour améliorer le compromis robustesse-précision

Created by
  • Haebom

Auteur

Futa Waseda, Ching-Chun Chang, Isao Echizen

Contour

Cet article analyse comment la régularisation invariante peut être utilisée pour résoudre le compromis entre robustesse et précision dans l'apprentissage antagoniste, et propose l'apprentissage antagoniste régularisé par représentation asymétrique (ARAT), une nouvelle méthode qui surmonte ce compromis. Nous identifions les problèmes des méthodes de régularisation invariante existantes, tels que les conflits de gradient entre les objectifs invariants et de classification, et les problèmes de distribution mixte causés par les différences de distribution entre les entrées propres et antagonistes. L'ARAT aborde le problème de conflit de gradient en utilisant une perte invariante asymétrique, une opération d'arrêt de gradient et des prédicteurs, et aborde le problème de distribution mixte grâce à une architecture de normes fractionnées. Les résultats expérimentaux montrent qu'ARAT surpasse les méthodes existantes, offrant une nouvelle perspective pour la défense basée sur la distillation des connaissances.

Takeaways, Limitations

Takeaways:
Une nouvelle approche visant à atténuer le compromis entre robustesse et précision dans l’apprentissage contradictoire est présentée.
Clarifier les problèmes de conflit de gradient et de distribution mixte de la régularisation invariante existante Limitations.
Proposition d'algorithme ARAT pour résoudre efficacement les problèmes de collision de gradient et de distribution mixte.
Fournit de nouvelles perspectives sur la défense basée sur la distillation des connaissances.
Validation expérimentale de l'ARAT, démontrant des performances supérieures aux méthodes existantes dans divers contextes.
Limitations:
Les améliorations de performances d’ARAT peuvent être limitées à des ensembles de données ou à des architectures de modèles spécifiques.
Des recherches supplémentaires sont nécessaires sur les performances de généralisation de la méthode proposée.
Une évaluation supplémentaire des performances dans des environnements d’application réels est requise.
👍