본 논문은 대화에서의 다중 모달 감정 인식 문제를 해결하기 위해, 저수준 오디오 표현과 고수준 텍스트 표현 간의 이질적인 모달 차이를 해소하는 새로운 프레임워크인 HBAF(Heterogeneous Bimodal Attention Fusion)를 제안합니다. HBAF는 단일 모달 표현 모듈, 다중 모달 융합 모듈, 모달 간 대조 학습 모듈의 세 가지 주요 모듈로 구성됩니다. 단일 모달 표현 모듈은 저수준 오디오 표현에 문맥 정보를 통합하여 효과적인 융합을 가능하게 하고, 다중 모달 융합 모듈은 동적 이중 모달 어텐션과 동적 게이팅 메커니즘을 사용하여 잘못된 교차 모달 관계를 필터링하고 모달 내 및 모달 간 상호 작용을 완전히 활용합니다. 마지막으로, 모달 간 대조 학습 모듈은 오디오 및 텍스트 모달 간의 복잡한 절대 및 상대적 상호 작용을 포착합니다. MELD 및 IEMOCAP 데이터셋에서의 실험 결과, HBAF는 기존 최첨단 기준 모델보다 성능이 우수함을 보여줍니다.
