본 논문에서는 짧은 비디오로부터 외견상의 성격 분석을 위한 새로운 다중 모드 인코더인 GAME(Graph-Augmented Multimodal Encoder)을 제안합니다. GAME은 시각, 청각, 텍스트 정보를 강력하게 모델링하고 융합하여 자동적인 성격 예측을 수행합니다. 시각적 정보 처리를 위해 얼굴 그래프를 구성하고, GCN과 CNN을 결합한 이중 분기 Geo Two-Stream Network를 사용하여 얼굴의 구조적 및 외관적 특징을 포착합니다. 또한, 사전 훈련된 ResNet18과 VGGFace를 이용하여 전역적 맥락과 신원 특징을 추출하고, BiGRU와 시간적 어텐션 모듈을 통해 시간적 동역학을 포착합니다. 청각 정보는 VGGish 네트워크를 통해, 언어적 의미는 XLM-Roberta 트랜스포머를 통해 추출합니다. 다중 모드 정보 통합을 위해 채널 어텐션 기반 융합 모듈을 제안하고, MLP 회귀 헤드를 통해 성격 특성을 예측합니다. 실험 결과, GAME은 여러 벤치마크에서 기존 방법들을 능가하는 성능을 보였습니다.
