FAA-CLIP: Federated Adversarial Adaptation of CLIP
Created by
- Haebom
Category
Empty
저자
Yihang Wu, Ahmad Chaddad, Christian Desrosiers, Tareef Daqqaq, Reem Kateb
개요
본 논문은 연합 학습(Federated Learning, FL) 환경에서 비전 언어 모델(Vision Language Model, VLM)인 CLIP의 효율적인 적용을 위한 새로운 방법인 FAA-CLIP을 제안합니다. CLIP의 큰 모델 크기와 연합 학습 환경에서 발생하는 데이터 이질성 및 도메인 간극 문제를 해결하기 위해, 경량의 특징 적응 모듈(Feature Adaptation Module, FAM)과 도메인 적응(Domain Adaptation, DA) 모듈을 활용합니다. FAM은 CLIP의 매개변수 전송량을 줄이고, DA 모듈은 도메인 불변 표현을 학습하여 각 클라이언트의 데이터에 대한 CLIP의 적응력을 향상시킵니다. 자연 이미지와 의료 이미지 데이터셋을 포함한 6개의 데이터셋에서의 실험을 통해 FAA-CLIP의 우수한 일반화 성능을 검증하고, 코드를 공개합니다.
시사점, 한계점
•
시사점:
◦
CLIP과 같은 대규모 VLM을 연합 학습 환경에 효율적으로 적용할 수 있는 새로운 방법 제시.
◦
경량의 FAM을 통해 통신 비용 감소 및 연산 효율 증대.
◦
도메인 적응 모듈을 통해 데이터 이질성 및 도메인 간극 문제 해결.
◦
자연 이미지 및 의료 이미지 데이터셋에서 우수한 일반화 성능 확인.
•
한계점:
◦
제안된 방법의 성능이 특정 데이터셋에 국한될 가능성 존재.
◦
더 다양한 VLM과 연합 학습 환경에서의 성능 평가 필요.
◦
도메인 적응 모듈의 설계 및 최적화에 대한 추가 연구 필요.
