Omni-C: Compressing Heterogeneous Modalities into a Single Dense Encoder

Created by

Haebom

저자

Kin Wai Lau, Yasar Abbas Ur Rehman, Lai-Man Po, Pedro Porto Buarque de Gusmao

💡 개요

기존 다중 모달 시스템은 모달리티가 추가될수록 복잡성과 연산량이 선형적으로 증가하는 문제를 안고 있습니다. 본 논문은 이러한 문제를 해결하기 위해 이미지, 오디오, 텍스트 등 이질적인 모달리티를 단일 밀집 트랜스포머 인코더에 압축하는 Omni-C를 제안합니다. Omni-C는 대규모 정렬되지 않은 데이터를 활용한 단일 모달 대조 학습을 통해 경쟁력 있는 공유 표현을 학습하며, MoE나 라우팅 없이 효율적인 배포를 가능하게 합니다.

🔑 시사점 및 한계

•

이질적인 다중 모달리티를 단일 밀집 인코더로 효율적으로 압축하여 모델 복잡성과 연산량 증가 문제를 해결합니다.

•

MoE, 쌍별 지도 학습, 라우팅 없이도 경쟁력 있는 공유 표현 학습이 가능하며, 메모리 제약적인 환경에서의 효율적인 배포에 강점을 보입니다.

•

오디오 및 텍스트에 대한 제로샷 성능에서 약간의 저하가 관찰되나, 선형 탐색이나 파라미터 효율적 미세 조정을 통해 상당 부분 회복 가능합니다.

•

대규모 정렬되지 않은 데이터셋과 다양한 벤치마크에 대한 실험을 통해 제안된 방법론의 효과성을 입증했습니다.

PDF 보기

Made with Slashpage