사전 훈련된 비전-언어 모델(VLM)을 로컬 클라이언트와 중앙 서버 간의 협업적 상호 작용을 통해 다운스트림 작업에 효율적이고 가볍게 적응시키는 연구가 진행 중입니다. 기존 적응 알고리즘은 반복적으로 훈련되어 통신 비용이 많이 들고 잠재적인 공격에 취약합니다. 이를 해결하기 위해, 본 논문은 한 번의 라운드로 클라이언트-서버 교환을 줄이는 일회성 연합 학습 기술에 영감을 받아, 가벼운 일회성 연합 VLM 적응 방법을 개발합니다. 기존 일회성 접근 방식의 한계점인 풍부한 다중 모드 정보 활용 부족, 심각한 데이터 이질성 처리 미흡, 추가 훈련 자원 필요를 해결하기 위해, 훈련이 필요 없는 일회성 연합 VLM 적응 프레임워크인 TOFA를 제안합니다. TOFA는 사전 훈련된 VLM의 일반화 가능한 다중 모드 기능을 활용하기 위해 시각 및 텍스트 파이프라인을 사용하여 작업 관련 표현을 추출합니다. 시각 파이프라인에서는 계층적 베이지안 모델이 개인화된 클래스별 프로토타입 분포를 학습합니다. 텍스트 파이프라인에서는 생성된 로컬 텍스트 프롬프트를 평가하고 전역적으로 정렬하여 견고성을 확보합니다. 데이터 이질성을 처리하기 위해 개인화와 견고성의 균형을 맞추는 적응형 가중치 보정 메커니즘을 도입합니다. TOFA는 훈련이 필요 없으며, 클라이언트 또는 서버 측에서 추가 훈련 자원을 사용하지 않습니다. 다양한 연합 설정에서 9개의 데이터 세트에 대한 광범위한 실험을 통해 제안된 TOFA 방법의 효과를 입증합니다.
