본 논문은 대규모 언어 모델(LLM)의 파라미터 효율적인 미세 조정(PEFT) 기법인 SECURA를 제안합니다. 기존의 Low-Rank Adaptation (LoRA)는 계산 비용을 줄이지만 catastrophic forgetting 문제를 해결하지 못하는 한계가 있습니다. SECURA는 Sigmoid-Enhanced CUR Decomposition LoRA로, 새로운 정규화 기법인 SigNorm을 도입하여 파라미터 유지를 강화하고 미세 조정 성능을 향상시킵니다. GSM8K, CNNDM, NewsDE, LogiQA 등 다양한 과제에서 Gemma2 2b, Qwen2 1.5b, Qwen 2 7b, Llama3 8b, Llama3.1 8b 등의 모델을 대상으로 실험을 진행하여 DoRA 대비 MCQ 과제에서 평균 3.59%, QA 과제에서 평균 2.51%의 성능 향상을 보였습니다. 또한, 16가지 지속 학습 테스트에서 기존 LLM 지식의 70% 이상을 유지하며, Experience Replay (ER), Sequential Learning (SEQ), EWC, I-LoRA, CUR-LoRA 등 기존 기법보다 우수한 지식 유지 능력을 보였습니다.
