Luca Zhou, Daniele Solombrino, Donato Crisostomi, Maria Sofia Bucarelli, Giuseppe Alessio D'Inverno, Fabrizio Silvestri, Emanuele Rodola
개요
Task arithmetic은 여러 finetuned 모델을 하나의 모델로 결합하는 간단하면서도 강력한 기술로 부상했지만, 그 효과에 대한 명확한 이론적 설명은 부족했다. 본 논문은 task vectors와 task loss의 기울기 간의 관계를 확립함으로써 task arithmetic에 대한 엄격한 이론적 기반을 제공한다. 표준 경사 하강법 하에서, 한 epoch의 finetuning으로 생성된 task vector는 학습률에 의해 조정된 손실의 음수 기울기와 정확히 동일하다는 것을 보여준다. 다중 epoch 설정의 경우, 피드-포워드 네트워크에 대해 명시적으로 경계가 있는 2차 오차 항을 사용하여, 이 등식이 대략적으로 유지됨을 증명한다.
시사점, 한계점
•
Task vectors는 학습률로 스케일링된 손실의 음수 기울기와 대략적으로 동일하다.
•
단일 epoch으로 finetuned된 모델을 병합하는 것이 완전히 수렴된 모델을 병합하는 것과 유사한 성능을 보인다.
•
Task arithmetic을 근사 다중 작업 학습의 한 형태로 재구성하여 효과에 대한 명확한 근거를 제공한다.
•
초기 학습 동역학이 모델 병합에서 중요한 역할을 한다.
•
이론적 분석은 피드-포워드 네트워크에 대한 2차 오차 항을 명시적으로 경계짓는 것으로 제한된다.
