본 논문은 전이 학습의 효과가 미세 감정 인식(FER) 문제에서 얼마나 유효한지를 먼저 정량적으로 평가하고, AffectNet 데이터셋에서 충분한 강도의 데이터 증강을 사용하면 ImageNet 사전 학습된 모델을 fine-tuning하는 것과 동등하거나 더 나은 성능을 달성할 수 있음을 보여줍니다. 이러한 결과를 바탕으로, 본 논문은 inference-time에서 모델 구조 변경 없이 지도 학습(SL)과 자기 지도 학습(SSL) 목적 함수를 결합하는 Hybrid Multi-Task Learning (HMTL)을 제안합니다. HMTL은 부분 인식 및 표정 관련 특징을 강화하기 위해 퍼즐 및 지각 손실을 사용한 inpainting의 두 가지 사전 텍스트 작업을 활용합니다. AffectNet에서 HMTL은 8가지 감정 인식에서 최첨단 정확도를 달성하며, 저용량 데이터 환경에서 더 큰 이점을 제공합니다. 기존의 SSL 사전 학습보다 HMTL이 더 강력한 성능을 보이며, FER 외에도 head pose 추정 및 성별 인식과 같은 세분화된 얼굴 분석 작업의 성능을 향상시킵니다.
