본 논문은 동적 실세계 환경에서 대규모 언어 모델(LLM)을 배치할 때 비용이 많이 드는 재훈련 없이 지속적인 학습(CL)을 수행하는 방법을 제시합니다. 기존의 모델 앙상블 및 매개변수 중요도를 기반으로 하는 모델 병합 방법들은 순차적 학습 중 정적 중요도 추정에 의존하기 때문에 지식 전이와 망각 간의 균형을 맞추는 데 어려움을 겪습니다. 본 논문에서는 반복적인 지식 식별 및 융합(Recurrent-KIF)이라는 새로운 CL 프레임워크를 제시합니다. Recurrent-KIF는 매개변수 중요도 분포의 동적 추정을 통해 지식 전이를 향상시킵니다. 인간의 지속적인 학습에서 영감을 얻은 Recurrent-KIF는 새로운 작업에 빠르게 적응하면서 중요한 매개변수를 식별하는 내부 루프와, 중복 지식 가지치기 및 핵심 지식 병합을 통해 새롭고 기존의 지식 융합을 전반적으로 관리하는 외부 루프를 사용합니다. 이러한 내부-외부 루프는 여러 라운드의 융합을 반복적으로 수행하여 중간 훈련 정보를 활용하고 진화하는 중요도 분포에 따라 융합 전략을 적응적으로 조정합니다. 다양한 모델 크기(770M~13B)를 사용하는 두 개의 CL 벤치마크에 대한 광범위한 실험은 Recurrent-KIF가 재앙적 망각을 효과적으로 완화하고 지식 전이를 향상시킨다는 것을 보여줍니다.
시사점, 한계점
•
시사점:
◦
매개변수 중요도의 동적 추정을 통해 지식 전이와 망각 간의 균형을 개선하는 새로운 CL 프레임워크(Recurrent-KIF) 제시.
◦
내부 및 외부 루프를 통한 반복적인 지식 융합으로 중간 훈련 정보 활용 및 적응적 전략 조정 가능.
