Cet article aborde le défi d'atteindre simultanément robustesse et efficacité des ressources, deux propriétés hautement souhaitables dans les modèles d'apprentissage automatique modernes. Nous démontrons que des taux d'apprentissage élevés contribuent à la fois à la robustesse face aux corrélations parasites et à la compacité du réseau. Nous démontrons que des taux d'apprentissage élevés produisent des propriétés de représentation souhaitables, telles que l'utilisation invariante des caractéristiques, la séparabilité des classes et la parcimonie d'activation. Sur une variété d'ensembles de données, de modèles et d'optimiseurs de corrélations parasites, nous démontrons que des taux d'apprentissage élevés permettent d'obtenir systématiquement ces propriétés par rapport à d'autres hyperparamètres et méthodes de régularisation. De plus, nous présentons des preuves solides que le succès des taux d'apprentissage élevés sur les tâches de classification standard est lié à leur capacité à traiter les corrélations parasites cachées/rares dans l'ensemble de données d'apprentissage. Notre étude des mécanismes sous-jacents de ce phénomène souligne l'importance de prédictions d'erreur fiables sur des échantillons en conflit de biais à des taux d'apprentissage élevés.
