본 논문은 다양한 모달리티(시각, 언어, 음성 등)를 통해 세상을 경험하는 인간의 특성을 고려하여, 딥 멀티모달 모델에서 추출된 해석 가능한 단일 의미 특징을 분석하는 데이터 기반 접근 방식을 제시합니다. 특히, 대규모 이미지-텍스트 쌍으로 학습된 CLIP 모델을 중심으로 연구를 진행합니다. 기존 단일 모달 해석성 연구를 기반으로, CLIP이 학습한 특징을 분리하고 분석하기 위한 다양한 멀티모달 해석성 도구 및 측정 방법을 개발합니다. 특히, 모달리티 우세 점수(MDS)를 도입하여 각 CLIP 특징을 특정 모달리티에 할당하고, CLIP 특징을 더 해석 가능한 공간으로 매핑하여 시각적 특징, 언어적 특징, 시각-언어적 특징 등 세 가지 뚜렷한 클래스로 분류합니다. 이러한 데이터 기반 분류는 인간의 직관적인 다양한 모달리티에 대한 이해와 밀접하게 일치합니다. 또한, 성별 감지의 편향 감소, 교차 모달 적대적 예제 생성, 텍스트-이미지 생성에서 모달 특정 특징 제어 등 여러 하위 작업에 이러한 모달리티 분해가 유용함을 보여줍니다. 결론적으로, 과제와 무관한 해석성 도구를 갖춘 대규모 멀티모달 모델은 다양한 데이터 모달리티 간의 관계에 대한 귀중한 통찰력을 제공할 수 있음을 시사합니다.
