본 논문은 불완전한 다중 모달 감정 인식(IMER) 문제를 해결하기 위해 새로운 프레임워크인 강력한 하이브리드 확산 복구(RoHyDR)를 제안합니다. RoHyDR은 단일 모달, 다중 모달, 특징, 의미 수준에서 누락된 모달 복구를 수행합니다. 단일 모달 표현 복구를 위해 확산 기반 생성기를 사용하여 가우시안 노이즈로부터 분포 일관성 및 의미 정렬 표현을 생성하고, 다중 모달 융합 복구를 위해 적대적 학습을 도입하여 사실적인 융합된 다중 모달 표현을 생성하고 누락된 의미 내용을 복구합니다. 또한, 다단계 최적화 전략을 제안하여 훈련 안정성 및 효율성을 향상시킵니다. 기존 연구와 달리, RoHyDR의 하이브리드 확산 및 적대적 학습 기반 복구 메커니즘은 특징 및 의미 수준 모두에서 단일 모달 표현과 다중 모달 융합의 누락된 정보를 복구하여 최적화가 부족함으로 인한 성능 저하를 효과적으로 완화합니다. 두 가지 널리 사용되는 다중 모달 감정 인식 벤치마크에 대한 종합적인 실험을 통해 제안된 방법이 최첨단 IMER 방법보다 우수하며 다양한 누락 모달 시나리오에서 강력한 인식 성능을 달성함을 보여줍니다.
