시각적 단서를 통해 사회적 상호 작용을 이해하는 것은 사회적으로 유능한 AI에게 기본적인 과제입니다. 강력한 사전 훈련된 비전-언어 모델(VLM)이 놀라운 일반적 능력을 보여주었지만, 여러 사회적 인식 작업을 동시에 통합하고 학습하는 데 어려움을 겪는다는 것을 발견했습니다. 이는 "사회적 저하"라는 문제 때문이며, VLM의 일반적인 시각-언어 사전 훈련 과정이 시각 인코더의 미묘한 사회적 정보를 표현하는 능력을 손상시키기 때문입니다. 우리는 선형 표현 프로빙을 통한 해독 가능성과 기울기 충돌 분석을 통한 호환성이라는 두 가지 관점에서 이 문제를 조사했습니다. 그 결과, 해독 가능성이 VLM 사전 훈련 과정에서 크게 손상되어 저하에 모두 기여한다는 것을 밝혀냈습니다. 이러한 문제를 해결하기 위해, 우리는 고정된 시각 인코더와 언어 모델 간의 최소 연결을 학습하는 통합 프레임워크인 SocialFusion을 제안했습니다. SocialFusion은 기존 VLM에 비해 다섯 가지 사회적 작업 모두에서 긍정적 전이를 보이며, 전반적인 성능을 향상시키기 위해 작업 간의 시너지를 활용하고, 다양한 벤치마크에서 작업별 최첨단 모델과 유사한 성능을 달성합니다.
