본 논문은 대규모 언어 모델(LLM)의 파라미터 미세조정(Fine-tuning, FT)에 따른 높은 계산 비용과 catastrophic forgetting 문제를 해결하기 위해, Sigmoid-Enhanced CUR Decomposition LoRA (SECURA)라는 새로운 파라미터 효율적인 미세조정(PEFT) 방법을 제안합니다. SECURA는 기존 LoRA의 한계를 극복하기 위해 Sigmoid-based Magnitude Norm (S-MagNorm)이라는 새로운 정규화 기법을 도입하여 파라미터 유지 및 미세조정 효율을 향상시킵니다. 다양한 과제(GSM8K, CNNDM, NewsDE, LogiQA)에 대한 실험 결과, SECURA는 기존의 DoRA를 능가하며, Gemma2 2B, Qwen2 1.5B, Qwen2 7B, Llama3 8B, Llama3.1 8B 모델에서 평균 3.59% (MCQ 과제) 및 2.51% (QA 과제)의 성능 향상을 보였습니다. 또한, 16개의 지속적 학습 테스트에서 최첨단 성능을 달성하고 기본 지식의 70% 이상을 유지하며 Experience Replay (ER), sequential learning (SEQ), EWC, I-LoRA, CUR-LoRA 등 기존 방법보다 우수한 지식 보존 능력을 보여줍니다.
