지속 학습은 기계 지능이 새로운 기술을 축적하는 인간과 유사한 능력을 추구합니다. 주요 과제는 심층 네트워크에서 완전히 이해되지 않은 파국적 망각입니다. 본 논문은 새로운 작업 훈련이 암묵적으로 이전 작업 지식에 대한 적대적 공격임을 밝힘으로써 파국적 망각을 밝힙니다. 특히, 새로운 작업 기울기는 자동으로 이전 작업 손실 경사의 날카로운 방향과 정확하게 정렬되어 이전 작업 손실을 빠르게 증가시킵니다. 이 적대적 정렬은 날카로운 방향이 우연히 정렬되기에는 너무 희소하게 분포되어 있어서 직관에 반합니다. 이를 이해하기 위해, 훈련의 낮은 랭크 바이어스에서 기인하며, 이는 순방향 및 역방향 전파를 통해 두 방향을 동일한 저차원 부분 공간에 가두어 정렬을 용이하게 한다는 것을 이론적으로 보여줍니다. 기울기 투영 (GP) 방법은 망각 완화 방법의 대표적인 계열로서, 순방향 전파로 인한 적대적 정렬을 줄이지만, 역방향 전파로 인한 정렬은 해결할 수 없습니다. 본 논문은 이를 해결하기 위해 backGP를 제안하며, 이는 GP 방법에 비해 망각을 평균 10.8% 감소시키고 정확도를 12.7% 향상시킵니다.
