MAVEN: Multi-modal Attention for Valence-Arousal Emotion Network
Created by
- Haebom
Category
Empty
저자
Vrushank Ahire, Kunal Shah, Mudasir Nazir Khan, Nikhil Pakhale, Lownish Rai Sookha, M. A. Ganaie, Abhinav Dhall
개요
본 논문은 다양한 모달리티(시각, 청각, 텍스트)를 통합하여 동적인 감정 인식을 수행하는 MAVEN(Multi-modal Attention for Valence-Arousal Emotion Network) 모델을 제안합니다. 기존의 valence와 arousal을 개별적으로 예측하는 방식과 달리, Russell의 circumplex 모델을 기반으로 극좌표계에서 감정을 예측합니다. 양방향 교차 모달 어텐션 메커니즘을 통해 각 모달리티의 특징을 효과적으로 통합하고, Aff-Wild2 데이터셋에서 ResNet-50 기준 모델보다 향상된 CCC(concordance correlation coefficient) 0.3061을 달성했습니다. 특히, 대화형 비디오에서 미묘하고 일시적인 감정 표현을 포착하는 다단계 아키텍처를 사용하여 실제 상황에서의 감정 인식 성능을 개선합니다. 소스 코드는 Github에서 공개됩니다.
시사점, 한계점
•
시사점:
◦
다양한 모달리티(시각, 청각, 텍스트) 정보를 효과적으로 통합하여 동적 감정 인식 성능 향상.
◦
Russell의 circumplex 모델을 활용하여 valence와 arousal 간의 상관관계를 고려한 감정 예측.
◦
다단계 아키텍처를 통해 미묘하고 일시적인 감정 표현 포착.
◦
실제 상황(Aff-Wild2 데이터셋)에서의 성능 향상을 검증.
◦
소스 코드 공개를 통한 연구 재현성 및 확장성 증대.
•
한계점:
◦
CCC 값 0.3061은 아직 높은 수준의 정확도라고 보기 어려움. 더 높은 정확도를 위해 추가적인 연구가 필요.
◦
특정 데이터셋(Aff-Wild2)에 대한 성능 평가만 제시되어 다른 데이터셋으로의 일반화 가능성에 대한 검증 부족.
◦
모델의 복잡성 및 계산 비용에 대한 분석 부족.
