본 논문은 멀티모달 감정 인식 분야에서 불균형한 범주 분포, 동적 얼굴 동작 단위 시간 모델링의 복잡성, 그리고 모달 이질성으로 인한 특징 융합의 어려움이라는 세 가지 주요 과제를 해결하고자 합니다. 소셜 미디어 환경에서 멀티모달 데이터가 증가함에 따라 효율적인 교차 모달 융합 프레임워크 구축의 필요성이 커지고 있습니다. 이를 위해 본 논문은 멀티모달 교차 주의 네트워크와 대조 학습(MCN-CL)을 제안합니다. 이 방법은 트리플 쿼리 메커니즘과 하드 네거티브 마이닝 전략을 사용하여 특징 중복성을 제거하고 중요한 감정적 단서를 유지하여 모달 이질성과 범주 불균형 문제를 효과적으로 해결합니다. IEMOCAP 및 MELD 데이터셋에 대한 실험 결과, 제안하는 방법이 기존의 최첨단 기술보다 우수하며, 가중 F1 점수가 각각 3.42% 및 5.73% 향상됨을 보였습니다.
