EmergentBridge: Improving Zero-Shot Cross-Modal Transfer in Unified Multimodal Embedding Models

Created by

Haebom

저자

Jincheng Xie, Xingchen Xiao, Heyan Huang, Zhongyi Huang, Yu Zheng, Runheng Liu

💡 개요

본 논문은 이미지-텍스트와 같이 일부 페어링된 데이터만으로 학습된 통합 다중 모달 임베딩 모델에서, 페어링되지 않은 모달리티 쌍(예: 오디오-깊이) 간의 제로샷 전이 성능을 향상시키는 EmergentBridge 프레임워크를 제안합니다. EmergentBridge는 새로운 모달리티를 기존 모달리티의 프록시 임베딩에 직접 연결할 때 발생하는 그래디언트 간섭 문제를 해결하기 위해, 노이즈가 있는 브리지 앵커를 학습하고 앵커 정렬 방향에 직교하는 부분 공간에서만 프록시 정렬을 수행합니다. 이를 통해 페어링되지 않은 모달리티 간의 연결성을 강화하면서도 기존의 앵커 정렬 구조를 유지하여 제로샷 분류 및 검색 성능을 크게 향상시킵니다.

🔑 시사점 및 한계

•

강력한 제로샷 크로스모달 전이 능력: 제한된 페어링 데이터를 가진 다중 모달 임베딩 모델에서도 효과적으로 학습되지 않은 모달리티 쌍 간의 제로샷 전이 성능을 크게 개선할 수 있습니다.

•

실용적인 데이터 제약 조건 극복: 실제 환경에서 발생할 수 있는 희소한 페어링 데이터 문제를 해결하여, 보다 적은 데이터로도 광범위한 다중 모달 응용 프로그램을 구축할 수 있습니다.

•

그래디언트 간섭 문제 해결: 새로운 모달리티 통합 시 발생하는 학습 불안정성 문제를 효과적으로 관리하여 통합 모델의 전반적인 성능 저하를 방지합니다.

•

모델 복잡성 및 학습 시간 증가 가능성: 제안된 브리지 학습 메커니즘이 기존 방식보다 모델의 복잡성을 증가시키거나 학습 시간을 늘릴 수 있습니다.

PDF 보기

Made with Slashpage