본 논문은 방송 및 미디어 조직에서 콘텐츠 인덱싱, 태깅, 메타데이터 생성과 같은 노동 집약적인 프로세스를 자동화하기 위해 인공 지능의 활용이 증가하는 상황에 주목한다. 기존 AI 시스템은 단일 모달리티(비디오, 오디오, 텍스트)에서 작동하여 방송 자료의 복잡한 크로스 모달 관계에 대한 이해가 제한적이다. 본 연구에서는 텍스트, 오디오, 시각 데이터를 아우르는 통합 표현을 학습하는 Multimodal Autoencoder (MMAE)를 제안하여 메타데이터 추출 및 의미 클러스터링의 종단간 자동화를 가능하게 한다. LUMA 데이터셋을 활용하여 모델을 학습시켰으며, 재구성 손실을 최소화함으로써 대규모 쌍을 이루거나 대비되는 데이터셋 없이 모달리티 불변 의미 구조를 발견했다.
