Merging Smarter, Generalizing Better: Enhancing Model Merging on OOD Data
Created by
Haebom
저자
Bingjie Zhang, Hongkang Li, Changlong Shi, Guowei Rong, He Zhao, Dongsheng Wang, Dandan Guo, Meng Wang
개요
본 논문은 다중 작업 학습(MTL)에서 여러 독립적인 모델 파라미터를 통합된 모델로 병합하는 기존 연구의 한계를 극복하고자, 계층별 가지치기 작업 벡터(LwPTV) 방법을 제안합니다. LwPTV는 작업 벡터 내 파라미터의 중복성을 측정하는 중요도 점수를 기반으로 각 작업에 대한 마스크 벡터를 생성하여 계층별 가지치기를 수행합니다. 이를 통해 기존 모델 병합 방법의 성능을 개선하고 특히 도메인 외(OOD) 데이터셋에서의 성능 향상에 초점을 맞춥니다. 기존 방법들이 주로 도메인 내(ID) 데이터셋의 성능 향상에 집중한 것과 달리, LwPTV는 OOD 성능 향상에 탁월한 효과를 보이며 ID 성능도 유지합니다.
시사점, 한계점
•
시사점:
◦
도메인 외(OOD) 데이터셋에서의 다중 작업 학습 성능 향상에 새로운 접근법을 제시합니다.
◦
기존 모델 병합 방법과의 호환성이 높아 다양한 상황에 적용 가능합니다.
◦
계층별 가지치기를 통해 모델의 효율성을 높일 수 있습니다.
◦
OOD 성능 향상과 ID 성능 유지를 동시에 달성합니다.
•
한계점:
◦
제안된 LwPTV 방법의 효과는 특정 모델 병합 방법 및 데이터셋에 따라 달라질 수 있습니다.
