본 논문은 대규모 언어 모델(LLM)의 파라미터 효율적인 미세 조정 방법으로 제어된 LoRA(CLoRA)를 제안합니다. LLM은 새로운 작업을 학습할 때 이전 작업의 성능이 크게 저하되는 파국적 망각 문제를 겪는데, CLoRA는 LoRA 구조에 대한 부분 공간 규제 방법을 통해 모델 용량에 대한 제약을 최소화하면서 출력 변화의 규모를 줄이는 것을 목표로 합니다. 실험 결과, CLoRA는 파국적 망각을 완화하는 효과적인 파라미터 효율적인 미세 조정 방법으로 1단계 LLM 미세 조정 작업과 지속적인 학습 설정에서 우수성을 보여줍니다. 모델 파라미터에 대한 추가 조사는 CLoRA가 모델 용량과 망각 정도 사이의 균형을 효과적으로 맞춘다는 것을 보여줍니다.
