SplitLoRA: Balancing Stability and Plasticity in Continual Learning Through Gradient Space Splitting
Created by
Haebom
저자
Haomiao Qiu, Miao Zhang, Ziyue Qiao, Weili Guan, Min Zhang, Liqiang Nie
개요
본 논문은 지속적 학습(Continual Learning, CL)에서 기울기 투영(Gradient Projection) 방법의 한계를 극복하기 위해 저계층 적응(Low-Rank Adaptation) 기반의 새로운 접근법인 SplitLoRA를 제안합니다. 기존 기울기 투영 방법은 기울기 공간을 효과적으로 분할하는 데 어려움을 겪어 안정성(이전 학습 과제의 지식 보존)과 가소성(새로운 과제의 효과적인 학습) 사이의 균형을 맞추지 못하는 문제가 있습니다. SplitLoRA는 이전 학습 과제의 기울기 공간을 최적으로 분할하는 방법을 제시하여 안정성과 가소성 사이의 균형을 효과적으로 달성합니다. 이를 통해 다양한 데이터셋에서 최첨단 성능을 달성함을 실험적으로 보여줍니다.
시사점, 한계점
•
시사점:
◦
기존 기울기 투영 기반 지속적 학습 방법의 안정성과 가소성 간의 균형 문제를 효과적으로 해결하는 새로운 방법론 제시.
◦
저계층 적응(Low-Rank Adaptation)의 효율성과 광범위한 적용성을 지속적 학습에 활용.
◦
이론적 분석을 바탕으로 기울기 공간의 최적 분할 방법을 제시하여 실험적으로 최첨단 성능을 달성.
