Enhancing Multimodal Sentiment Analysis for Missing Modality through Self-Distillation and Unified Modality Cross-Attention
Created by
Haebom
Category
Empty
저자
Yuzhe Weng, Haotian Wang, Tian Gao, Kewei Li, Shutong Niu, Jun Du
개요
본 논문은 다중 모달 감정 분석에서 텍스트 데이터 수집의 어려움을 해결하기 위해, 텍스트 모달리티가 없더라도 효과적으로 다중 모달 감정 정보를 통합하는 강력한 모델을 제시한다. Double-Flow Self-Distillation Framework는 Unified Modality Cross-Attention (UMCA)와 Modality Imagination Autoencoder (MIA)를 포함하며, 모든 모달리티가 존재하는 경우와 텍스트 모달리티가 없는 경우 모두 우수한 성능을 보인다. 특히 텍스트 모달리티가 없을 경우, LLM 기반 모델을 사용하여 오디오 모달리티로부터 텍스트 표현을 시뮬레이션하고, MIA 모듈을 통해 다른 두 모달리티의 정보를 보완하여 시뮬레이션된 텍스트 표현이 실제 텍스트 표현과 유사하도록 한다. 또한, 시뮬레이션된 표현과 실제 표현의 정렬을 개선하고 감정 valence 회귀 작업에서 샘플 순서의 연속적인 특성을 포착하기 위해 Rank-N Contrast (RNC) 손실 함수를 도입하였다. CMU-MOSEI 데이터셋에서 실험한 결과, MAE에서 뛰어난 성능을 달성하였으며, 특히 텍스트 모달리티가 없는 경우 다른 모델들을 상당히 능가하는 성능을 보였다. 코드는 https://github.com/WarmCongee/SDUMC 에서 확인할 수 있다.
