Luca Zhou, Daniele Solombrino, Donato Crisostomi, Maria Sofia Bucarelli, Giuseppe Alessio D'Inverno, Fabrizio Silvestri, Emanuele Rodola
Task Arithmetic의 이론적 토대
개요
Task arithmetic은 여러 미세 조정된 모델을 하나의 모델로 병합하는 간단하면서도 강력한 기법으로 부상했습니다. 본 논문은 task vector와 task loss의 gradient 사이의 연결을 확립하여 task arithmetic에 대한 엄격한 이론적 토대를 제공합니다. 표준 경사 하강법 하에서, 한 epoch의 미세 조정으로 생성된 task vector는 학습률에 의해 스케일링된 손실의 음의 gradient와 정확히 동일함을 보입니다. 다중 epoch 설정에서는, 피드 포워드 네트워크에 대해 명시적으로 제한된 2차 오차 항과 함께 이러한 등가성이 근사적으로 유지됨을 증명합니다. 7개의 비전 벤치마크에 대한 실험적 분석을 통해, 첫 번째 epoch의 gradient가 norm과 방향 모두에서 미세 조정 궤적을 지배한다는 것을 보여줌으로써 이론을 뒷받침합니다. 주요 시사점은 단일 epoch 동안 미세 조정된 모델을 병합하는 것이 완전히 수렴된 모델을 병합하는 것과 종종 유사한 성능을 보인다는 것입니다. 이러한 결과는 task arithmetic을 근사 다중 작업 학습의 한 형태로 재구성하여 효과에 대한 명확한 근거를 제공하고, 모델 병합에서 초기 훈련 역학의 중요한 역할을 강조합니다.
시사점, 한계점
•
시사점:
◦
Task arithmetic의 효과에 대한 이론적 근거 제시
◦
초기 훈련 역학이 모델 병합에 중요하다는 점 강조
◦
단일 epoch으로 미세 조정된 모델 병합의 유효성 입증
◦
task arithmetic을 근사 다중 작업 학습으로 재해석
•
한계점:
◦
피드 포워드 네트워크에 대한 2차 오차 항의 한계점 언급 (구체적인 한계는 논문 내용을 참고해야 함)
