본 논문은 대규모 언어 모델(LLM)의 파라미터 효율성, 적응성 및 강건성을 향상시키는 새로운 미세 조정 기법인 ShareLoRA를 제안합니다. ShareLoRA는 저랭크 가중치 행렬을 여러 레이어에 걸쳐 전략적으로 공유함으로써 표준 LoRA에 비해 44%~96%의 학습 가능한 파라미터 감소와 메모리 오버헤드 감소를 달성합니다. RoBERTa, GPT-2, LLaMA 시리즈 등 다양한 모델에서 분류 및 생성 작업 모두에서 성능 저하 없이 강건성을 유지하며, 제로샷, 퓨샷, 지속적 미세 조정 시나리오에서 LoRA를 능가하여 최대 1.2%의 평균 정확도 향상과 향상된 도메인 일반화를 달성합니다. 지속적 학습 환경에서는 GSM8K에서 1.2%, HumanEval에서 0.6%, MMLU와 MMLU-Pro에서 각각 0.5%의 정확도 향상을 보였습니다. 결과적으로 ShareLoRA는 다양한 모델 규모와 작업에서 고품질 미세 조정과 강력한 일반화 및 지속적인 적응을 지원함을 보여줍니다.
