Cet article présente un cadre d'optimisation unifié appelé Tri-Accel. Tri-Accel adapte conjointement trois stratégies d'accélération et paramètres adaptatifs pendant l'apprentissage. Ces stratégies sont les suivantes : les mises à jour adaptatives de précision, qui allouent dynamiquement des niveaux de précision mixtes en fonction de la courbure et de la variance du gradient ; les signaux clairsemés du second ordre, qui exploitent les motifs clairsemés Hessian/Fisher pour guider les décisions de précision et de taille de pas ; et la mise à l'échelle des lots à mémoire élastique, qui ajuste la taille des lots en temps réel en fonction de la disponibilité de la VRAM. Lors d'expériences sur CIFAR-10 utilisant ResNet-18 et EfficientNet-B0, Tri-Accel a réduit le temps d'apprentissage jusqu'à 9,9 % et l'utilisation de la mémoire de 13,3 %, tout en améliorant la précision de +1,1 % par rapport à la référence FP32. Tri-Accel est implémenté à l'aide d'un noyau Triton personnalisé, permettant une optimisation automatique sans réglage manuel des hyperparamètres grâce à une adaptation sensible au matériel.
