본 논문은 다중 모달 감정 분석(MSA)에서 융합 심도와 다중 모달 용량 할당의 역할을 중점적으로 연구합니다. 기존 연구에서 융합 심도와 확장성, 전용 다중 모달 용량이 효과적인 융합에 중요한 요소임을 밝히고, 심층 융합을 위해 맞춤 설계된 학습 가능한 토큰을 사용하는 새로운 다중 모달 언어 모델(LM)인 DeepMLF를 제안합니다. DeepMLF는 시청각 인코더와 사전 훈련된 디코더 LM을 활용하며, LM의 여러 레이어에 다중 모달 정보를 추가합니다. 학습 가능한 토큰을 추가하여 모달 간 상호 작용을 제어하고 각 모달의 독립적인 정보 흐름을 유지하며, 여러 레이어에 걸쳐 점진적인 융합을 가능하게 하여 융합 과정의 심도를 제공합니다. 모달별 손실과 언어 모델링 손실을 결합하여 훈련하며, 디코더 LM은 실제 극성을 예측하도록 합니다. 다양한 특성을 가진 세 가지 MSA 벤치마크에서 최첨단 성능을 달성하였으며, 심층 융합이 더 나은 성능으로 이어지고, 최적의 융합 심도(5-7)가 기존 접근 방식을 능가함을 확인했습니다. 또한, 소량의 융합 토큰(약 20개)이 최적의 성능을 달성함을 보여줍니다. 시청각 인코더 초기화 실험을 통해 표현 학습 순서(융합 커리큘럼)의 중요성을 조사하고, 제안된 융합 설계 및 게이팅의 우수성을 보여주는 에이블레이션 연구를 수행했습니다. LLM로의 DeepMLF 확장성, 각 훈련 목표 및 임베딩 정규화의 영향에 대한 포괄적인 검토도 제공합니다.
