본 논문은 기존 연속 학습(Continual Learning, CL) 연구가 주로 제한된 메모리 용량을 가정한 것과 달리, 현실적인 대규모 언어 모델 환경에서 메모리가 풍부하고 GPU 시간이 주요 비용 요소임을 고려하여 연구를 진행했습니다. 충분한 메모리를 사용할 수 있는 환경에서, 기존 데이터의 일부를 유지하는 시스템에서는 안정성이 향상되지만, 과거 학습에 치우쳐 새로운 작업에 적응하는 유연성(plasticity)이 저하되는 현상을 발견했습니다. 단순한 재생(replay) 방법만으로도 최첨단 방법과 비슷하거나 더 나은 성능을 훨씬 적은 계산 비용으로 달성할 수 있음을 보였습니다. 이를 바탕으로, 가중치 공간 통합(Weight Space Consolidation)이라는 경량의 효과적인 방법을 제안합니다. 이 방법은 순위 기반 매개변수 재설정(plasticity 회복)과 가중치 평균화(안정성 향상)라는 두 가지 핵심 메커니즘을 통해 모델의 가중치 공간에서 직접 작동합니다. 이미지 분류기의 클래스 증분 학습과 대규모 언어 모델의 연속적 지시 조정에서 강력한 기준 방법들을 능가하는 성능을 보이며, 기존 방법의 1/3에서 1/4 수준의 훈련 비용만 필요합니다. 이러한 결과는 기존 CL에 대한 가정에 도전하고, 메모리가 제한 요소가 아닌 실제 연속 학습 시스템을 위한 새로운 비용 효율적인 기준을 제시합니다.
