Cet article souligne les limites du développement d'algorithmes robustes existants, qui reposent sur des hypothèses structurelles sans vérification empirique de changements distributionnels spécifiques, et propose une approche empiriquement fondée et axée sur les données. Nous construisons un banc d'essai empirique comprenant huit jeux de données tabulaires, 172 paires de distributions, 45 méthodes et 90 000 configurations de méthodes pour comparer et analyser les méthodologies de minimisation des risques empiriques (ERM) et d'optimisation robuste à la distribution (DRO). Notre analyse révèle que, contrairement aux changements X (covariables) généralement évoqués dans la littérature existante sur l'apprentissage automatique, les changements Y|X sont les plus courants et que les algorithmes robustes ne surpassent pas les méthodes conventionnelles. Une analyse plus approfondie de la méthodologie DRO révèle que les détails d'implémentation, tels que la classe de modèle et la sélection des hyperparamètres, ont un impact plus important sur les performances que les ensembles d'incertitudes ou les rayons. Enfin, nous démontrons à travers une étude de cas qu’une compréhension inductive et basée sur les données des changements de distribution peut fournir une nouvelle approche du développement d’algorithmes.
