본 논문은 다중 모달 대화에서 감정의 원인을 탐구하는 새로운 과제인 MECEC(Multimodal Emotion Cause Explanation in Conversation)을 제시합니다. 기존 연구의 한계인 단일 모달, 조잡한 평가, 미묘한 설명 부족, 다중 모달 감정 유발 요인 식별의 어려움을 극복하기 위해, MELD 데이터셋을 기반으로 비디오 클립과 감정 설명을 결합한 새로운 데이터셋 ECEM을 개발했습니다. 또한, 대규모 언어 모델(LLM)을 활용하여 비디오의 얼굴 표정을 분석하고 감정을 해석하는 새로운 접근 방식인 FAME-Net을 제안합니다. FAME-Net은 얼굴 감정의 전염 효과를 활용하여 대화 참여자의 감정 원인을 효과적으로 파악합니다. 실험 결과, FAME-Net은 여러 기준 모델보다 우수한 성능을 보였습니다. 코드와 데이터셋은 Github에서 공개됩니다.
