Cet article propose HARDY-MER, un cadre d'apprentissage dynamique du curriculum prenant en compte la difficulté, pour résoudre le problème de reconnaissance multimodale des émotions (MER) avec des modalités manquantes. Les méthodes existantes de reconstruction des modalités manquantes présentent des limites dans la mesure où elles ne tiennent pas compte des différences de difficulté de reconstruction entre les échantillons. HARDY-MER se compose de deux étapes : l'évaluation de la difficulté de l'échantillon et la mise en évidence stratégique des échantillons difficiles pour l'apprentissage. La difficulté de l'échantillon est mesurée grâce à un mécanisme d'évaluation de la difficulté multi-perspectives qui prend en compte la difficulté directe (erreur de reconstruction de modalité) et la difficulté indirecte (information mutuelle intermodale). Le processus d'apprentissage est régulé par une stratégie d'apprentissage dynamique du curriculum basée sur la récupération qui recherche des échantillons présentant des informations sémantiques similaires et ajuste le poids d'apprentissage entre les échantillons faciles et difficiles. Les résultats expérimentaux sur des jeux de données de référence démontrent que HARDY-MER surpasse les méthodes existantes.