Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

GAIS: Frame-Level Gated Audio-Visual Integration with Semantic Variance-Scaled Perturbation for Text-Video Retrieval

Created by
  • Haebom
Category
Empty

저자

Bowen Yang, Yun Cao, Chen He, Xiaosu Su

GAIS: Text-to-Video Retrieval Framework with Gated Fusion and Semantic Perturbation

개요

GAIS는 텍스트와 시간적으로 풍부한 오디오-비디오 신호 간의 정확한 정렬을 목표로 하는 텍스트-비디오 검색 프레임워크입니다. 이 프레임워크는 표현 학습과 정규화 관점에서 다중 모드 정렬을 강화합니다. Frame-level Gated Fusion (FGF) 모듈은 텍스트 안내에 따라 오디오-비주얼 특징을 적응적으로 통합하여 유용한 프레임의 세분화된 시간적 선택을 가능하게 합니다. Semantic Variance-Scaled Perturbation (SVSP) 메커니즘은 의미 인식 방식으로 섭동 크기를 제어하여 텍스트 임베딩 공간을 정규화합니다. FGF는 선택적 융합을 통해 모드 간의 격차를 최소화하고, SVSP는 임베딩 안정성과 구별 능력을 향상시킵니다. MSR-VTT, DiDeMo, LSMDC, VATEX 데이터셋에 대한 실험에서 GAIS는 여러 검색 메트릭에서 강력한 기반 모델보다 우수한 성능을 보이며 계산 효율성도 유지함을 입증했습니다.

시사점, 한계점

•
시사점:
◦
FGF 모듈을 통해 오디오-비주얼 특징의 적응적 융합을 수행하여 다중 모드 정렬의 성능을 향상시킴.
◦
SVSP 메커니즘을 통해 텍스트 임베딩 공간을 정규화하여 임베딩 안정성과 구별 능력을 개선함.
◦
여러 데이터셋에서 강력한 기반 모델보다 우수한 성능을 보이며, 계산 효율성 또한 유지함.
•
한계점:
◦
본 논문에서 구체적인 한계점은 명시되어 있지 않음.
👍
Made with Slashpage