Compensating Distribution Drifts in Class-incremental Learning of Pre-trained Vision Transformers
Created by
Haebom
Category
Empty
저자
Xuan Rao, Simian Xu, Zheng Li, Bo Zhao, Derong Liu, Mingming Ha, Cesare Alippi
개요
사전 훈련된 비전 변환기(ViT)의 순차적 미세 조정(SeqFT)과 클래스 특징의 근사 분포를 사용한 분류기 개선은 클래스 증가 학습(CIL)에 효과적인 전략이다. 그러나 이 방법은 공유 백본 매개변수의 순차적 최적화로 인해 분포 드리프트에 취약하다. 이 문제를 해결하기 위해, 잠재 공간 전이 연산자를 도입하고 드리프트 보상을 사용한 순차적 학습(SLDC)을 제안한다. SLDC는 작업 간의 특징 분포를 정렬하여 드리프트의 영향을 완화하는 것을 목표로 한다. SLDC의 선형 변형과, 유연성과 일반화를 균형 있게 유지하는 약 비선형 매핑을 사용한 SLDC의 약 비선형 변형을 제시한다. 또한 두 알고리즘 변형 모두에서 지식 증류(KD)를 적용한다. SLDC는 SeqFT의 성능을 크게 향상시키며, KD를 SLDC와 결합하면 SeqFT가 모든 평가된 데이터 세트에서 공동 훈련과 유사한 성능을 달성한다.
