Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

COSMOS: Cross-Modality Self-Distillation for Vision Language Pre-training

Created by
  • Haebom

저자

Sanghwan Kim, Rui Xiao, Mariana-Iuliana Georgescu, Stephan Alaniz, Zeynep Akata

개요

대조 손실을 사용하여 학습된 비전-언어 모델(VLMs)은 다양한 비전 및 언어 작업에서 상당한 발전을 이루었지만, 대조 손실의 전역적 특성으로 인해 VLMs는 주로 전경 객체에 집중하고 이미지의 다른 중요한 정보를 무시하여 후속 작업의 효율성을 제한합니다. 이러한 문제를 해결하기 위해 본 논문에서는 새로운 텍스트 자르기 전략과 교차 어텐션 모듈을 자기 지도 학습 프레임워크에 통합하는 COSMOS(CrOSs-MOdality Self-distillation)를 제안합니다. 이미지와 텍스트의 전역 및 지역적 뷰(즉, 다중 모드 증강)를 생성하여 VLMs에서 자기 증류에 필수적입니다. 또한 교차 어텐션 모듈을 도입하여 교차 모드 자기 증류 손실을 통해 최적화된 포괄적인 교차 모드 표현을 학습합니다. COSMOS는 검색, 분류 및 의미 분할을 포함한 다양한 제로샷 후속 작업에서 이전의 강력한 기준 모델을 능가하며, 더 큰 데이터셋으로 학습된 CLIP 기반 모델보다 시각적 인식 및 문맥 이해 작업에서 우수한 성능을 보입니다. 코드는 https://github.com/ExplainableML/cosmos 에서 이용 가능합니다.

시사점, 한계점

•
시사점:
◦
기존 VLMs의 전경 객체 집중 문제를 해결하는 새로운 자기 지도 학습 프레임워크 COSMOS 제안.
◦
텍스트 자르기 전략과 교차 어텐션 모듈을 활용하여 이미지의 전역 및 지역 정보 모두를 고려한 표현 학습.
◦
다양한 제로샷 후속 작업에서 기존 최고 성능 모델들을 능가하는 성능 달성.
◦
대규모 데이터셋으로 학습된 CLIP 기반 모델보다 우수한 시각적 인식 및 문맥 이해 성능.
◦
공개된 코드를 통해 재현성 및 확장성 확보.
•
한계점:
◦
제시된 텍스트 자르기 전략 및 교차 어텐션 모듈의 일반화 성능에 대한 추가적인 연구 필요.
◦
다양한 유형의 이미지 및 텍스트 데이터에 대한 COSMOS의 로버스트성 평가 추가 필요.
◦
특정 작업에 대한 최적의 하이퍼파라미터 설정에 대한 추가적인 연구 필요.
👍
Made with Slashpage