Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Modality-Collaborative Low-Rank Decomposers for Few-Shot Video Domain Adaptation

Created by
  • Haebom
Category
Empty

저자

Yuyang Wanyan, Xiaoshan Yang, Weiming Dong, Changsheng Xu

개요

본 논문은 Few-Shot Video Domain Adaptation (FSVDA)의 어려운 문제를 다룬다. 비디오의 멀티모달 특성으로 인해 도메인 정렬과 모달리티 협업을 동시에 고려해야 하는 점에 주목, 기존 연구의 한계를 지적한다. 도메인 이동의 영향으로 각 모달리티 및 융합된 멀티모달 특징의 일반화 성능이 저하된다는 점을 발견하고, 이를 해결하기 위해 모달리티별로 도메인 이동 수준이 다른 특징을 분해하는 Modality-Collaborative LowRank Decomposers (MC-LRD) 프레임워크를 제안한다. MC-LRD는 각 모달리티에 여러 개의 분해기와 Multimodal Decomposition Routers (MDR)로 구성되며, 효율적인 분해를 위해 직교적 비상관 제약 조건을 적용한다. 또한, 도메인 정렬을 촉진하기 위해 교차 도메인 활성화 일관성 손실을 제안한다. 세 개의 공개 벤치마크에서 기존 방법보다 상당한 성능 향상을 달성했다.

시사점, 한계점

시사점:
FSVDA 문제 해결을 위한 새로운 프레임워크 (MC-LRD) 제안
도메인 정렬과 모달리티 협업을 동시에 고려
모달리티별 특징 분해를 통한 도메인 이동 문제 해결 시도
공개 벤치마크에서 기존 방법 대비 우수한 성능 입증
한계점:
논문에서 구체적인 한계점에 대한 언급 없음
👍