Bài báo này đề xuất HARDY-MER, một khuôn khổ học tập chương trình giảng dạy động nhận biết độ khó, để giải quyết vấn đề nhận dạng cảm xúc đa phương thức (MER) với các phương thức bị thiếu. Các phương pháp tái tạo phương thức bị thiếu hiện có hạn chế ở chỗ chúng không tính đến sự khác biệt về độ khó tái tạo giữa các mẫu. HARDY-MER bao gồm hai giai đoạn: đánh giá độ khó của mẫu và nhấn mạnh một cách chiến lược vào các mẫu khó để học. Độ khó của mẫu được đo lường thông qua cơ chế đánh giá độ khó đa góc nhìn, xem xét độ khó trực tiếp (lỗi tái tạo phương thức) và độ khó gián tiếp (thông tin tương hỗ giữa các phương thức). Quá trình học được điều chỉnh thông qua chiến lược học tập chương trình giảng dạy động dựa trên truy xuất, tìm kiếm các mẫu có thông tin ngữ nghĩa tương tự và điều chỉnh trọng số học tập giữa các mẫu dễ và khó. Kết quả thử nghiệm trên các tập dữ liệu chuẩn chứng minh rằng HARDY-MER vượt trội hơn các phương pháp hiện có.