An Empirical Study and Theoretical Explanation on Task-Level Model-Merging Collapse

Created by

Haebom

저자

Yuan Cao, Dezhi Ran, Yuzhe Guo, Mengzhou Wu, Simin Chen, Linyi Li, Wei Yang, Tao Xie

💡 개요

본 연구는 독립적으로 파인튜닝된 LLM들을 결합하는 모델 병합(model merging) 과정에서 발생하는 치명적인 성능 저하 현상인 '병합 붕괴(merging collapse)'를 탐구합니다. 저자들은 특히 여러 작업에 특화된 모델들을 병합할 때 발생하는 '작업 수준 병합 붕괴'를 식별하고, 이를 광범위한 실험과 통계 분석을 통해 규명합니다. 본 논문은 작업 간 표현(representation)의 비호환성이 병합 붕괴의 주요 원인임을 밝히고, 파라미터 공간에서의 충돌 지표는 낮은 상관관계를 보임을 제시합니다.

🔑 시사점 및 한계

•

작업 수준의 모델 병합 붕괴는 병합 방법론에 독립적으로 발생하는 현상이며, 이는 작업 간 표현의 비호환성에 기인함을 실증적으로 보여줍니다.

•

기존 모델 병합 연구에서 중요하게 여겼던 파라미터 공간에서의 충돌 지표는 병합 붕괴와의 상관관계가 낮다는 점을 발견하여, 새로운 평가 기준의 필요성을 시사합니다.

•

본 연구는 차원 의존적인 경계값을 갖는 Rate-Distortion 이론을 통해 작업 병합 가능성의 근본적인 한계를 이론적으로 설명하며, 향후 모델 병합 연구의 방향성을 제시합니다.

•

Rate-Distortion 이론을 적용한 이론적 설명이 아직은 초기 단계이며, 실제 다양한 모델 아키텍처 및 작업 특성에 대한 추가적인 검증과 일반화가 필요합니다.

PDF 보기

Made with Slashpage