Latent Domain Prompt Learning for Vision-Language Models
Created by
- Haebom
Category
Empty
저자
Zhixing Li, Arsham Gholamzadeh Khoee, Yinan Yu
개요
본 논문은 도메인 일반화(Domain Generalization, DG)를 목표로 하며, 특히 도메인 레이블 없이 모델이 일반화될 수 있도록 하는 것을 연구합니다. 비전-언어 모델(Vision-Language Model, VLM)을 실제 환경에 적용하기 위해 중요하며, 훈련 데이터에서 자동으로 발견된 잠재 도메인들의 조합으로 보이지 않는 대상 도메인을 표현하여 도메인 간 지식을 적응적으로 전송하는 방법을 제안합니다. 이미지 특징에 대한 잠재 도메인 클러스터링을 수행하고, 입력 이미지와 각 잠재 도메인 간의 유사성을 기반으로 도메인별 텍스트 특징을 융합합니다.
시사점, 한계점
•
시사점:
◦
도메인 레이블 없이 VLM의 도메인 일반화를 달성하는 새로운 접근 방식 제시.
◦
잠재 도메인 클러스터링과 도메인별 텍스트 특징 융합을 통한 효과적인 지식 전송 전략 제안.
◦
4개의 벤치마크에서 기존 VLM 기반 모델보다 일관된 성능 향상.
◦
도메인 변화에 대한 견고성을 향상시키는 새로운 통찰력 제공.
•
한계점:
◦
구체적인 구현 방법이나 알고리즘에 대한 상세한 설명 부족 가능성.
◦
제안된 방법의 복잡성 및 계산 비용에 대한 고려가 부족할 수 있음.
◦
제안된 방법이 다른 도메인 일반화 문제에 얼마나 일반화될 수 있는지에 대한 추가적인 연구 필요.
