본 논문은 다중 모달 감정 인식, 특히 기본 감정의 혼합을 식별하는 감정 분포 학습(EDL)에 초점을 맞춥니다. 기존 EDL 방법들이 다중 모달의 이질성을 제대로 활용하지 못하고, 기본 감정 간의 풍부한 의미적 상관관계를 충분히 활용하지 못하는 문제점을 지적합니다. 이를 해결하기 위해, HeLo라는 새로운 다중 모달 감정 분포 학습 프레임워크를 제안합니다. HeLo는 크로스 어텐션을 이용한 생리적 데이터 융합, 최적 수송(OT) 기반 이질성 마이닝 모듈을 통한 생리적 및 행동적 표현 간의 상호작용 및 이질성 분석, 상관 행렬 정렬을 통해 최적화된 학습 가능한 레이블 임베딩 도입, 그리고 새로운 레이블 상관관계 기반 크로스 어텐션 메커니즘을 통한 다중 모달 표현과 학습 가능한 레이블 임베딩 및 레이블 상관 행렬 통합을 통해 감정 분포 학습의 정확도를 높입니다. 두 개의 공개 데이터셋을 이용한 실험 결과를 통해 제안된 방법의 우수성을 입증합니다.
