본 논문은 대화에서의 다중 모드 감정 인식 문제를 해결하기 위해 이질적인 다중 모드 간극을 해소하는 새로운 프레임워크인 HBAF(Heterogeneous Bimodal Attention Fusion)를 제안합니다. HBAF는 저수준 오디오 표현과 고수준 텍스트 표현 간의 차이를 해소하기 위해 단일 모드 표현 모듈, 다중 모드 융합 모듈, 모드 간 대조 학습 모듈의 세 가지 주요 모듈로 구성됩니다. 단일 모드 표현 모듈은 저수준 오디오 표현에 문맥 정보를 통합하고, 다중 모드 융합 모듈은 동적 이중 모드 어텐션과 동적 게이팅 메커니즘을 사용하여 부정확한 교차 모드 관계를 필터링하고 모드 내 및 모드 간 상호 작용을 완전히 활용합니다. 마지막으로 모드 간 대조 학습 모듈은 오디오와 텍스트 모드 간의 복잡한 절대적 및 상대적 상호 작용을 포착합니다. MELD와 IEMOCAP 데이터셋에 대한 실험 결과, 제안된 HBAF 방법이 기존 최첨단 기준 모델보다 우수한 성능을 보임을 보여줍니다.
