Bridging Domains through Subspace-Aware Model Merging

Created by

Haebom

저자

Levy Chaves, Chao Zhou, Rebekka Burkholz, Eduardo Valle, Sandra Avila

💡 개요

본 연구는 서로 다른 도메인에서 미세 조정된 모델들을 병합할 때 발생하는 도메인 일반화 성능 저하 문제를 다룹니다. 저자들은 특이값 분해를 통해 파라미터 경쟁을 분석하여, 서로 다른 도메인에서 학습된 모델 병합 시 기존 다중 작업 설정보다 더 강한 부분 공간 충돌이 발생함을 보였습니다. 이를 해결하기 위해, 제안된 SCORE 방법론은 공유 직교 기저를 찾아 충돌하는 특이값 방향을 제거함으로써 도메인 일반화 성능을 향상시킵니다.

🔑 시사점 및 한계

•

서로 다른 도메인에서 학습된 모델을 병합하는 것이 단일 도메인 또는 다중 작업 시나리오보다 더 큰 파라미터 충돌을 유발하며, 이는 도메인 일반화 성능에 부정적인 영향을 미칩니다.

•

제안된 SCORE 방법은 부분 공간 충돌을 효과적으로 해결하여, 다양한 아키텍처와 모델 규모에 걸쳐 기존 모델 병합 방식보다 도메인 일반화 성능을 꾸준히 향상시킵니다.

•

본 연구는 모델 병합에서의 도메인 일반화라는 중요한 미개척 분야를 탐구하고 구체적인 해결책을 제시했다는 점에서 의미가 있습니다.

•

모델 병합 시 발생하는 부분 공간 충돌을 해결하기 위한 SCORE의 효과가 입증되었지만, 실제 복잡한 실제 환경에서의 적용 및 더 다양한 도메인 분포에 대한 추가적인 검증이 필요할 수 있습니다.

PDF 보기

Made with Slashpage