본 논문은 매개변수 효율성과 표현력을 동시에 갖춘 어댑터를 사용하여 대규모 사전 훈련된 언어 모델을 다양한 작업에 미세 조정하는 방법을 제시합니다. 기존의 저랭크 LoRA 압축에 크로네커 구조 분해를 결합한 새로운 하이브리드 어댑터인 Kron-LoRA를 소개합니다. Kron-LoRA는 표준 LoRA보다 최대 4배 적은 매개변수를 사용하면서도 유사한 표현력을 유지합니다. DistilBERT, Mistral-7B, LLaMA-2-7B, LLaMA-3-8B를 대상으로 8개의 벤치마크에서 실험한 결과, Kron-LoRA는 적은 메모리 사용량과 5-8%의 속도 오버헤드만으로 LoRA 기준 모델과 동등하거나 우수한 성능을 보였습니다. 순차적 미세 조정에서도 어댑터 매개변수의 1/4만 사용하면서 경쟁력 있는 교차 작업 전이 성능을 제공합니다. 따라서 Kron-LoRA는 대규모 언어 모델의 다중 작업 적응을 위한 확장 가능하고 지속 가능한 솔루션을 제공합니다.
