Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Cross-Domain Few-Shot Learning with Coalescent Projections and Latent Space Reservation

Created by
  • Haebom
Category
Empty

저자

Naeem Paeedeh, Mahardhika Pratama, Imam Mustafa Kamal, Wolfgang Mayer, Jimmy Cao, Ryszard Kowlczyk

개요

DINO로 사전 훈련된 모델과 프로토타입 분류기를 결합한 방법이 교차 도메인 소수 샷 학습에서 최신 SOTA(State-of-The-Art) 방법보다 우수한 성능을 보입니다. 라벨된 샘플 부족으로 인한 과적합 문제를 해결하기 위해, soft prompts의 후속으로 'coalescent projection'을 제안합니다. 또한, 새로운 pseudo-class 생성 방법을 제안하여, 자기 지도 학습 변환과 결합하여, 기반 도메인에만 의존하여 다른 도메인의 미지의 샘플에 대한 네트워크를 준비시킵니다. BSCD-FSL 벤치마크의 극심한 도메인 시프트 문제에 대한 광범위한 실험에서 제안된 방법의 효과를 입증합니다.

시사점, 한계점

DINO 기반 사전 훈련과 coalescent projection, pseudo-class 생성을 결합하여 교차 도메인 소수 샷 학습의 성능을 향상시켰습니다.
과적합 문제를 해결하기 위해, transformer 파라미터 업데이트를 최소화하고, 새로운 개념을 도입했습니다.
BSCD-FSL 벤치마크에서 뛰어난 성능을 보였습니다.
Soft prompts를 개선한 coalescent projection의 일반화 성능에 대한 추가 연구가 필요합니다.
제안된 pseudo-class 생성 방법의 다른 도메인으로의 확장성 및 일반화 능력에 대한 추가적인 분석이 필요합니다.
👍