본 논문은 다중 작업 학습(MTL)을 이용하여 다중 모드 감정 분석(MSA)과 다중 모드 감정 인식(MER)을 위한 새로운 방법인 다중 모드 저차원 전문가 혼합(MMoLRE)을 제안합니다. 기존의 방법들이 주로 하드 파라미터 공유를 사용하여 복잡한 작업 상관관계로 인한 파라미터 충돌을 무시하는 것과 달리, MMoLRE는 공유 및 작업별 전문가를 활용하여 공통 및 고유 작업 특성을 구별하여 모델링함으로써 파라미터 충돌을 피합니다. 또한, 전문가 혼합(MoE) 프레임워크의 저차원 구조에서 영감을 얻어 저차원 전문가 네트워크를 설계하여 전문가 수가 증가함에 따라 파라미터 및 계산 오버헤드를 줄입니다. CMU-MOSI 및 CMU-MOSEI 벤치마크에 대한 광범위한 실험을 통해 MMoLRE가 MSA 작업에서 최첨단 성능을 달성하고 MER 작업에서 경쟁력 있는 결과를 달성함을 보여줍니다.
