본 논문은 이전 작업의 지식을 잊지 않으면서 새로운 작업을 순차적으로 학습하는 연속 학습(Continual Learning)을 다룬다. 특히, 이전 작업의 손실에 대한 기울기와 현재 작업의 손실에 대한 기울기 간의 간섭이 망각을 유발하는 주요 요인임을 지적하고, 데이터 표현 간의 상관관계가 이러한 간섭의 주요 원인임을 제안한다. 이를 해결하기 위해, 모든 작업에서 공유되는 사전 훈련된 토큰 표현의 작업별 구성으로 데이터 표현을 학습하는 방법을 제안한다. 이를 통해, 각 작업의 데이터 표현 간의 상관관계를 사전 훈련된 토큰 표현 간의 상관관계에 기반하여 구축한다. 경험 재생(experience replay) 없이도 SOTA 성능을 달성했으며, 작업 증가 학습을 통해 고급 클래스 증가 성능도 달성했다.
