Analytic Subspace Routing: How Recursive Least Squares Works in Continual Learning of Large Language Model
Created by
Haebom
Category
Empty
저자
Kai Tong, Kang Pan, Xiao Zhang, Erli Meng, Run He, Yawen Cui, Nuoyan Guo, Huiping Zhuang
개요
본 논문은 대규모 언어 모델(LLM)에서의 지속 학습(CL) 문제를 해결하기 위해 Analytic Subspace Routing(ASR) 기법을 제안합니다. 기존의 지속 학습 방법들은 이전 데이터를 재사용하여 추가적인 계산 비용을 발생시키거나, 매개변수 효율적인 모듈을 사용하여 새로운 지식 흡수를 제한하는 문제점을 가지고 있습니다. ASR은 각 작업에 대해 심층 레이어 특징의 하위 공간 내에서 학습을 분리하여 작업 간의 지식 간섭을 제거합니다. 또한, 다중 작업 라우터 모델을 훈련하여 역사적 데이터에 접근하지 않고도 동적으로 들어오는 데이터에 적응하며, 적절한 하위 공간에 현재 작업을 할당하고 이전에 학습된 작업을 잊지 않도록 합니다. 실험 결과, ASR은 이전 지식을 거의 완벽하게 유지하면서 새로운 정보를 원활하게 통합하는 것을 보여줍니다.
시사점, 한계점
•
시사점:
◦
LLM에서의 지속 학습 문제에 대한 효과적인 해결책 제시: ASR은 기존 방법들의 한계점을 극복하고, 이전 지식을 유지하면서 새로운 작업을 효과적으로 학습할 수 있음을 보여줍니다.
◦
하위 공간 분리 및 분석적 라우팅 메커니즘을 통한 지식 간섭 문제 해결: 작업 간의 간섭 없이 새로운 지식을 효율적으로 흡수할 수 있습니다.
◦
역사적 데이터 접근 없이 동적인 적응 가능: 계산 비용을 절감하고 실시간 학습에 유용합니다.
