본 논문은 안면 마비 감지를 위한 다중 모드 융합 기반 심층 학습 모델을 제시합니다. 비구조화 데이터(얼굴 선분이 포함된 이미지 프레임)와 구조화 데이터(얼굴 표정 특징)를 활용하여 21명의 안면 마비 환자 비디오를 분석합니다. 실험 결과, 다양한 데이터 모드(RGB 이미지, 얼굴 선분 이미지, 얼굴 랜드마크 좌표, 얼굴 표정 특징) 중 얼굴 표정 특징을 사용한 피드포워드 신경망이 76.22%의 정확도를, 얼굴 선분 이미지를 사용한 ResNet 기반 모델이 83.47%의 재현율을 달성했습니다. 얼굴 선분 이미지와 얼굴 표정 특징을 결합한 다중 모드 융합 모델은 정확도를 77.05%로 소폭 향상시켰으나 재현율은 감소했습니다.
