본 논문은 CMU-MOSEI 데이터셋을 사용하여, 텍스트, 오디오, 비디오 모달리티를 조기 융합(early fusion) 기반의 트랜스포머 모델을 이용한 다중 모달 감정 분석을 수행합니다. 각 모달리티에 BERT 기반 인코더를 사용하여 임베딩을 추출하고, 이를 연결하여 분류를 수행합니다. 테스트셋에서 7-class 정확도 97.87%, F1-score 0.9682를 달성하여 조기 융합의 효과를 보여줍니다. Adam optimizer(학습률 1e-4), dropout(0.3), 조기 종료를 사용하여 일반화 성능과 강건성을 확보했습니다. 낮은 MAE (0.1060)는 정확한 감정 강도 예측을 나타냅니다. 다중 모달 학습을 통해 언어적, 음향적, 시각적 단서를 효과적으로 결합하여 감정 분석을 수행합니다.
