Spectral Disentanglement and Enhancement: A Dual-domain Contrastive Framework for Representation Learning

Created by

Haebom

저자

Jinjin Guo, Yexin Li, Zhichao Huang, Jun Fang, Zhiyuan Liu, Chao Liu, Pengzhang Liu, Qixia Jiang

💡 개요

기존 대규모 다중 모달 대조 학습은 특징 차원을 균등하게 처리하고 스펙트럼 구조를 간과하여 표현 학습에 한계를 보입니다. 본 논문은 고차원 임베딩이 협소한 원뿔 형태로 붕괴되어 노이즈와 잘못된 상관관계가 많아지는 문제를 해결하기 위해 Spectral Disentanglement and Enhancement (SDE) 프레임워크를 제안합니다. SDE는 특이값 분해를 통해 특징 차원을 의미론적 정보, 부수적 상관관계, 노이즈로 분리하고, 커리큘럼 기반 스펙트럼 강화 전략을 적용하여 유익한 구성 요소를 증폭시켜 더 풍부하고 견고한 표현을 학습합니다.

🔑 시사점 및 한계

•

고차원 특징 공간에서 스펙트럼 특성을 활용하여 표현의 노이즈와 잘못된 상관관계를 효과적으로 줄이고 유의미한 정보를 강화할 수 있습니다.

•

기존 대조 학습 파이프라인에 쉽게 통합되어 다중 모달 표현 학습의 일반화 성능을 향상시킬 수 있습니다.

•

제안된 SDE 프레임워크는 다양한 대규모 다중 모달 벤치마크에서 기존 최첨단 방법론을 능가하는 우수한 성능을 보여주었습니다.

•

향후 연구에서는 SDE의 스펙트럼 분해 및 강화 메커니즘을 특정 도메인이나 작업에 더욱 최적화하는 방안을 탐구할 수 있습니다.

PDF 보기

Made with Slashpage