Heterogeneous bimodal attention fusion for speech emotion recognition
Created by
- Haebom
Category
Empty
저자
Jiachen Luo, Huy Phan, Lin Wang, Joshua Reiss
개요
본 논문은 대화에서의 다중 모달 감정 인식 문제를 해결하기 위해 이종 모달 간의 차이를 고려한 새로운 프레임워크인 HBAF(Heterogeneous Bimodal Attention Fusion)를 제안합니다. 기존 연구들이 주로 동일한 표현 수준에서 오디오와 텍스트 모달 간의 상호작용에 초점을 맞춘 것과 달리, HBAF는 저수준 오디오 표현과 고수준 텍스트 표현 간의 이질성을 해소하는 데 중점을 둡니다. 이는 단일 모달 표현 모듈, 다중 모달 융합 모듈, 모달 간 대조 학습 모듈의 세 가지 주요 모듈로 구성됩니다. 단일 모달 표현 모듈은 저수준 오디오 표현에 문맥 정보를 통합하여 효과적인 융합을 가능하게 하고, 다중 모달 융합 모듈은 동적 이중 모달 어텐션과 동적 게이팅 메커니즘을 사용하여 잘못된 상호 모달 관계를 필터링하고 모달 내 및 모달 간 상호 작용을 완전히 활용합니다. 마지막으로 모달 간 대조 학습 모듈은 오디오와 텍스트 모달 간의 복잡한 절대적 및 상대적 상호 작용을 포착합니다. MELD와 IEMOCAP 데이터셋 실험 결과, HBAF는 기존 최첨단 기준 모델들을 능가하는 성능을 보였습니다.
시사점, 한계점
•
시사점:
◦
저수준 오디오와 고수준 텍스트 표현 간의 이질성 문제를 해결하는 새로운 접근 방식 제시.
◦
다중 모달 상호작용을 위한 효과적인 융합 전략 제시 (동적 이중 모달 어텐션, 동적 게이팅 메커니즘).
◦
모달 간 대조 학습을 통해 복잡한 상호 작용 포착.
◦
기존 최첨단 모델 성능 개선.
•
한계점:
◦
제안된 방법의 일반성 및 다른 다중 모달 감정 인식 작업으로의 확장성에 대한 추가 연구 필요.
◦
특정 데이터셋에 대한 성능 평가만 제시되었으므로, 다양한 데이터셋에 대한 추가 실험 필요.
◦
계산 비용 및 복잡성에 대한 분석 필요.
