MSPLoRA: A Multi-Scale Pyramid Low-Rank Adaptation for Efficient Model Fine-Tuning
Created by
Haebom
저자
Jiancheng Zhao, Xingda Yu, Zhen Yang
개요
본 논문은 대규모 사전 훈련 모델을 적응시키는 데 있어 계산 비용을 줄이는 매개변수 효율적인 미세 조정(PEFT) 방법 중 하나인 LoRA의 한계를 극복하기 위해 MSPLoRA(Multi-Scale Pyramid LoRA)를 제안합니다. 기존 LoRA는 모든 계층에 고정된 계급을 적용하여 계층적 정보의 다양한 복잡성을 고려하지 못하는 반면, MSPLoRA는 전역 공유 LoRA, 중간 수준 공유 LoRA, 계층별 LoRA를 도입하여 전역 패턴, 중간 수준 특징, 그리고 세분화된 정보를 각각 포착합니다. 이 계층적 구조는 계층 간 중복성을 줄이면서 강력한 적응 능력을 유지합니다. 다양한 NLP 작업에 대한 실험 결과, MSPLoRA는 훈련 가능한 매개변수의 수를 크게 줄이면서 더 효율적인 적응과 더 나은 성능을 달성합니다. 또한 특이값 분해를 기반으로 한 추가 분석을 통해 정보 분리 능력을 검증하여 MSPLoRA가 대규모 언어 모델에서 매개변수 효율적인 미세 조정을 위한 확장 가능하고 효과적인 최적화 전략임을 강조합니다. 코드는 https://github.com/Oblivioniss/MSPLoRA 에서 확인할 수 있습니다.
