본 논문은 다중 작업 학습에서 비용 효율적인 패러다임으로 떠오르고 있는 모델 병합, 특히 그 중 단순성과 효율성으로 주목받는 작업 벡터 방식에 대한 연구이다. 작업 벡터의 효과를 다중 작업 기울기와 연결하여 설명하고, 단일 에포크 시나리오에서 기울기 하강법을 통한 최적화 시 작업 벡터가 다중 작업 설정에서 얻은 기울기와 수학적으로 동등하며 후속 에포크에서도 이러한 기울기를 근사한다는 것을 보였다. 또한 작업 벡터의 효과는 첫 번째 에포크의 기울기에 크게 의존한다는 것을 밝혔다. 이러한 작업 벡터와 기울기 간의 유사성을 바탕으로, 모델 병합을 조정과 병합을 번갈아 수행하는 반복적 프로세스(ATM: Alternate Tuning and Merging)의 단일 단계로 보는 관점을 제시한다. ATM을 활용하는 두 가지 방법, 즉 연합 학습과 같이 데이터 공유가 금지된 시나리오에서 다중 작업 학습을 ATM으로 대체하는 방법과 하이퍼파라미터 조정에 일반적으로 사용되는 작은 검증 데이터셋에 ATM을 몇 번 반복 적용하여 모델 병합 알고리즘의 결과를 개선하는 방법을 제안한다. 마지막으로, ATM의 효과에 대한 실험적 및 이론적 근거를 제시하여 모든 작업을 공동으로 미세 조정하여 얻은 손실에 대한 상한선을 최소화함을 보였다.
