From Coefficients to Directions: Rethinking Model Merging with Directional Alignment
Created by
Haebom
Category
Empty
저자
Zhikang Chen, Sen Cui, Deheng Ye, Min Zhang, Gang Niu, Yu Zhang, Masashi Sugiyama, Tingting Zhu
개요
독립적으로 훈련된 여러 모델을 통합하는 모델 병합은 공동 재훈련 없이도 가능하다. 기존 연구들은 파라미터 분해, 계수 최적화, 부분 공간 학습과 같은 전략을 통해 파라미터를 결합하여 강력한 성능을 보였다. 하지만, 이러한 접근 방식은 파라미터 공간 분해 또는 융합 계수 최적화 문제로 취급하며, 파라미터 및 특징 공간의 방향성 정보의 중요성을 간과했다. 본 연구에서는 방향성 정렬을 강조하고, 파라미터 및 특징 공간에서 일관되게 방향성 구조를 정렬하는 통합 기하 프레임워크인 \method{}을 제안한다.
시사점, 한계점
•
시사점:
◦
방향성 정렬의 중요성을 강조하고, 이를 통해 구조적 일관성을 개선한다.
◦
파라미터 공간과 특징 공간 모두에서 방향성 구조를 정렬하는 새로운 기법인 \method{} 제안.
