본 논문은 지속적 학습(CL)에서 메모리 제약보다 GPU 시간 제약이 더 중요한 현실적인 환경을 고려한다. 기존의 CL 연구와는 달리, 메모리가 충분하여 망각을 완화할 수 있지만 처음부터 전체 재학습은 비용이 많이 드는 "중간 지점"을 탐구한다. 이 환경에서 모델은 이전 작업에 편향되어 새로운 작업을 학습하는 데 어려움을 겪는다는 것을 발견하고, 안정성보다 가소성이 핵심 과제임을 제시한다. 이에 따라, 랭크 기반 파라미터 리셋을 통한 가소성 회복과 가중치 평균화를 통한 안정성 향상을 결합한 Weight Space Consolidation을 제안한다. 이미지 분류기 및 대규모 언어 모델의 지속적인 지시 튜닝에서 강력한 기반 모델보다 우수한 성능을 보이면서 재학습과 유사한 낮은 계산 비용을 달성하여 확장 가능한 대안을 제시한다.
