본 논문은 누락된 모달리티를 가진 다중 모달 감정 인식(MER) 문제를 해결하기 위해 Hardness-Aware Dynamic Curriculum Learning 프레임워크인 HARDY-MER를 제안합니다. 기존의 누락된 모달리티 재구성 방식은 샘플 간 재구성 난이도의 차이를 고려하지 못하는 한계가 있었는데, HARDY-MER는 샘플의 난이도를 평가하고 어려운 샘플을 전략적으로 강조하여 학습하는 두 단계로 구성됩니다. 샘플의 난이도는 직접적인 난이도(모달리티 재구성 오류)와 간접적인 난이도(교차 모달 상호 정보)를 고려한 다중 관점 난이도 평가 메커니즘을 통해 측정되며, 유사한 의미 정보를 가진 샘플을 검색하고 쉬운 샘플과 어려운 샘플 간의 학습 비중을 조절하는 검색 기반 동적 커리큘럼 학습 전략을 통해 학습 과정이 조절됩니다. 벤치마크 데이터셋에서의 실험 결과, HARDY-MER는 기존 방법들을 능가하는 성능을 보였습니다.
