Prompt 기반의 지속적 학습(CL)은 대규모 언어 모델(LLM)을 작업 시퀀스에 적응시키기 위한 매개변수 효율적인 접근 방식을 제공한다. 그러나 기존 방법론들은 대부분 작업 인식 추론에 의존하며, 증가하는 작업별 프롬프트 집합을 유지하여 두 가지 주요 과제를 야기한다: (1) 작업 불가지론적 추론 하에서 이전 작업에 대한 심각한 성능 저하, (2) 작업 시퀀스가 증가함에 따른 프롬프트 메모리 축적으로 인한 제한된 확장성. 본 논문에서는 이러한 과제를 해결하기 위해 설계된 통합 프레임워크인 GRID를 제시한다. GRID는 대표적인 입력을 활용하여 역전이를 향상시키는 디코딩 메커니즘, 자동 작업 식별, 제약된 디코딩을 통합한다. 또한, 덜 유용한 프롬프트를 단일 통합 표현으로 압축하기 위해 기울기 기반 프롬프트 선택 전략을 사용하여 확장 가능하고 메모리 효율적인 지속적 학습을 보장한다. 장기 시퀀스 및 부정적 전이 벤치마크에 대한 광범위한 실험 결과, GRID는 평균 정확도와 역전이를 향상시키고, 경쟁력 있는 정전이를 달성하며, 프롬프트 메모리 사용량을 실질적으로 줄이는 것을 보여준다.
