본 논문은 대규모 언어 모델(LLM)의 지속적인 업데이트로 인해 기존 LoRA 가중치가 빠르게 쓸모없게 되는 문제를 해결하기 위해 LoRASuite를 제안합니다. LoRASuite는 다양한 유형의 LLM 업데이트에 맞춰 설계된 모듈식 접근 방식으로, 기존 LoRA 가중치를 효율적으로 활용하여 새로운 모델 버전에 적응합니다. 기존 모델과 새로운 모델의 매개변수를 이용하여 전이 행렬을 계산하고, 중심 커널 정렬 및 코사인 유사도 측정을 기반으로 레이어 및 어텐션 헤드를 할당합니다. 소규모 미세 조정 단계를 통해 수치적 안정성을 확보합니다. 실험 결과, LoRASuite는 기존 소규모 LoRA 방법보다 성능이 우수하며, MiniCPM 및 Qwen과 같은 백본 LLM에서 전체 규모 LoRA 재훈련보다도 성능이 뛰어남을 보여줍니다. 메모리 소비량과 계산 시간도 크게 감소시킵니다.
