When Shared Knowledge Hurts: Spectral Over-Accumulation in Model Merging

작성자

Haebom

카테고리

Empty

저자

Yayuan Li, Ze Peng, Jian Zhang, Jintao Guo, Yue Duan, Yinghuan Shi

💡 개요

본 논문은 다수의 파인튜닝된 모델을 결합하는 모델 병합 기법에서 발생하는 문제점을 다룹니다. 특히, 작업 업데이트 간의 충돌 해결에 집중했던 기존 방법들과 달리, 공유되는 지식이 과도하게 누적되어 발생하는 'Spectral Over-Accumulation' 문제를 지적합니다. 이를 해결하기 위해 저자들은 공유되는 스펙트럼 방향(정렬된 특이 벡터)이 겹칠 때 발생하는 특이값의 과대평가를 보정하는 'Singular Value Calibration (SVC)'이라는 학습 및 데이터가 필요 없는 후처리 기법을 제안합니다.

🔑 시사점 및 한계

•

모델 병합 시 공유 지식의 과도한 축적이 성능 저하의 원인이 될 수 있음을 최초로 규명했습니다.

•

제안하는 SVC 기법은 학습 또는 데이터 없이 모델 병합 결과의 스펙트럼 균형을 회복시켜 성능을 크게 향상시킵니다.

•

SVC는 특히 Task Arithmetic과 같은 기존 모델 병합 기법의 성능을 13% 이상 개선하며, 다양한 비전 및 언어 벤치마크에서 최신 성능을 달성했습니다.

•

SVC는 특이값만을 수정하므로, 기존 병합 방식의 틀을 유지하면서도 효율적으로 성능을 개선할 수 있습니다.

PDF 보기

Made with Slashpage