본 논문은 적은 데이터로 학습하는(few-shot learning) 상황에서 테스트 시간 미세 조정(test-time fine-tuning)의 효율성을 높이는 방법을 제안합니다. 기존의 테스트 시간 미세 조정은 여러 번의 역전파(backpropagation) 단계가 필요하여 실시간 또는 자원이 제한된 환경에서는 비효율적입니다. 본 논문에서는 기울기(gradient)를 계산하지 않고 기울기 하강법을 모방하는 방법을 제시합니다. 구체적으로, 기울기 하강법을 상미분 방정식(ODE)의 오일러 이산화(Euler discretization)로 공식화하고, 적은 수의 지원 집합(support set)만을 사용하여 작업 조건부 드리프트(task-conditional drift)를 예측하는 보조 네트워크를 학습시킵니다. 적응 과정은 오일러 방법과 같은 간단한 수치적 통합으로 축소되며, 보조 네트워크의 순전파(forward pass)만 몇 번 필요할 뿐, 기울기 계산이나 대상 모델의 순전파는 필요하지 않습니다. Meta-Dataset과 CDFSL 벤치마크를 사용한 교차 도메인 few-shot 분류 실험에서, 제안된 방법은 미세 조정이 없는 기준 모델에 비해 성능을 크게 향상시키는 동시에 표준 미세 조정의 6% 메모리 비용과 0.02% 계산 시간만 사용하여 실질적인 중간 지점을 확립합니다.
