본 논문은 시각 및 청각 모달 데이터를 사용한 종단 간 다중 모달 성격 인식 네트워크를 제안합니다. 특징 수준 융합을 위해 크로스 어텐션 메커니즘을 사용하고, 다중 스케일 특징 향상 모듈을 통해 효과적인 정보 표현을 강화하고 불필요한 정보의 간섭을 억제합니다. 또한, 모달 손실 및 노이즈 간섭과 같은 비 이상적인 데이터 상황을 시뮬레이션하는 모달 향상 훈련 전략을 제시하여 모델의 적응력과 강건성을 향상시킵니다. ChaLearn First Impression 데이터셋에서 평균 Big Five 성격 정확도 0.916을 달성하여 기존 방법들을 능가하는 성능을 보였으며, ablation 실험을 통해 제안된 모듈과 모달 향상 전략의 기여도를 검증했습니다. 추론 단계에서 비 이상적인 데이터 시나리오를 시뮬레이션하여 모달 향상 전략의 강건성 향상 효과를 확인했습니다.
시사점, 한계점
•
시사점:
◦
시각 및 청각 정보를 효과적으로 융합하는 다중 모달 성격 인식 네트워크를 제시.
◦
다중 스케일 특징 향상 모듈과 모달 향상 훈련 전략을 통해 모델의 성능 및 강건성 향상.
◦
기존 방법 대비 우수한 성능을 ChaLearn First Impression 데이터셋에서 검증.
