본 논문은 지능형 인간-기계 상호작용 시스템에서 중요한 역할을 하는 감정 인식에 대해 다룬다. 다양한 모달리티를 융합하는 다중 모달 접근 방식은 인식 정확도를 향상시키지만, 고품질 다중 모달 데이터 부족과 모달리티 간 최적 정렬의 어려움으로 인해 개선 가능성이 제한된다. 본 논문에서는 사전 훈련된 자동 음성 인식(ASR) 모델 백본을 활용하여 오디오 모달리티만으로 정확한 감정 분류를 달성하는 Qieemo 프레임워크를 제안한다. ASR 인코더에서 추출된 음성 후방 그램(PPG)과 감정 특징을 융합하기 위해 다중 모달 융합(MMF) 모듈과 교차 모달 주의(CMA) 모듈을 설계하였다. IEMOCAP 데이터셋에서의 실험 결과, Qieemo는 기준 단일 모달, 다중 모달 및 자기 지도 학습 모델보다 각각 3.0%, 1.2%, 1.9%의 절대적인 성능 향상을 보였다.
