Sign In

Bayesian Natural Gradient Fine-Tuning of CLIP Models via Kalman Filtering

Created by
  • Haebom
Category
Empty

저자

Hossein Abdi, Mingfei Sun, Wei Pan

개요

Vision-language 사전 훈련 모델(예: CLIP)의 소수 샷 미세 조정 성능 향상을 위해 칼만 필터를 사용한 베이지안 근사 자연 기울기 하강법을 제안합니다. 이 방법은 2차 최적화의 장점과 베이지안 추론을 결합하여 일반화 성능을 향상시키고 불확실성 정량화를 제공합니다. 다양한 이미지 분류 데이터 세트에서 실험을 통해 제안된 알고리즘이 기존 방법보다 우수한 또는 동등한 in-distribution 성능과 향상된 out-of-distribution 견고성을 달성함을 입증합니다.

시사점, 한계점

시사점:
2차 최적화를 통해 CLIP 모델의 미세 조정 효율성 및 일반화 성능 향상.
베이지안 추론을 통해 불확실성 정량화 제공.
다양한 이미지 분류 데이터 세트에서 기존 방법 대비 우수한 성능 입증.
CLIP 기반 모델의 미세 조정에 칼만 필터를 처음으로 성공적으로 적용.
한계점:
논문에서 구체적인 한계점 언급은 없음. (논문 내용을 기반으로 작성됨)
👍