Accurate and Efficient Low-Rank Model Merging in Core Space
Created by
Haebom
저자
Aniello Panariello, Daniel Marczak, Simone Magistri, Angelo Porrello, Bart{\l}omiej Twardowski, Andrew D. Bagdanov, Simone Calderara, Joost van de Weijer
개요
본 논문은 대규모 신경망의 저랭크 적응(Low-Rank Adaptation, LoRA)을 병합하는 데 관련된 과제를 해결합니다. LoRA와 같은 파라미터 효율적인 적응 기술의 부상으로 모델 미세 조정이 더 쉬워졌습니다. LoRA를 사용한 모델 미세 조정은 매우 효율적이지만, 기존 병합 방법은 전체 크기의 가중치 행렬을 병합함으로써 이러한 효율성을 종종 희생합니다. 본 논문은 Core Space 병합 프레임워크를 제안하며, 이를 통해 공통 정렬 기반 내에서 LoRA가 적용된 모델을 병합하여 저랭크 적응의 효율성을 유지하면서 작업 전반에서 정확도를 크게 향상시킵니다. 또한 Core Space로의 투영이 정보 손실을 보장한다는 공식적인 증명을 제공하며, 효율성 이점을 보여주는 복잡성 분석을 제공합니다. 광범위한 실험 결과는 Core Space가 기존 병합 기술을 크게 개선하고, 비전 및 언어 작업 모두에서 최첨단 결과를 달성하면서 계산 자원의 일부만을 사용함을 보여줍니다.
