Team RAS in 11th ABAW Competition: Multimodal Ambivalence Recognition Approach
Author
- Haebom
Category
Empty
저자
Elena Ryumina, Maxim Markitantov, Alexandr Axyonov, Fedor Shchetinin, Timur Abdulkadirov, Dmitry Ryumin, Alexey Karpov
💡 개요
본 연구는 비일관적인 언어, 음향, 얼굴, 맥락 패턴으로 인해 어려운 양가성 및 망설임의 자동 인식을 위해 텍스트 중심의 단일 멀티모달 접근 방식을 제안합니다. 제안된 Text Residual Fusion 모델은 텍스트를 주요 모달리티로 삼고 다른 모달리티의 정보를 게이트 잔차 조정을 통해 통합하여 성능을 향상시킵니다. 실험 결과, 이 모델은 BAH 코퍼스에서 상당한 수준의 양가성 및 망설임 인식 성능을 달성하며, 앙상블 모델 없이도 멀티모달 정보의 효과를 입증했습니다.
🔑 시사점 및 한계
•
텍스트 정보를 핵심으로 삼고 다른 모달리티를 보조적으로 활용하는 Text Residual Fusion 방식은 양가성 및 망설임 인식에서 효과적입니다.
•
텍스트 모달리티가 양가성 및 망설임 인식에 가장 강력한 단일 모달리티임을 재확인했습니다.
•
대규모 모델 앙상블 없이도 멀티모달 정보를 효과적으로 융합하여 인식 성능을 개선할 수 있음을 보여줍니다.
•
제안된 방법론의 일반화 성능 및 다양한 상황에서의 적용 가능성에 대한 추가적인 연구가 필요합니다.
