본 논문은 대규모 언어 모델(LLM)의 매개변수 효율적인 미세 조정(PEFT) 방법인 저랭크 적응(LoRA)의 한계점을 개선한 LoRA with Reduced Interference (LoRI)를 제안합니다. LoRI는 투영 행렬 A를 임의 투영으로 고정하고, 행렬 B를 작업별 마스크를 사용하여 스파스화하여 훈련 가능한 매개변수의 수를 크게 줄입니다. 이를 통해 작업 성능을 유지하면서 매개변수 간섭을 최소화하고, 어댑터 하위 공간 간의 직교성을 활용하여 효과적인 어댑터 병합과 연속 학습을 지원합니다. 자연어 이해, 수학적 추론, 코드 생성, 안전 정렬 작업에 대한 광범위한 실험을 통해 LoRI가 LoRA보다 최대 95% 적은 훈련 가능한 매개변수를 사용하면서 전체 미세 조정 및 기존 PEFT 방법보다 성능이 우수함을 보여줍니다.
