본 논문은 연속 학습(CL) 시나리오에서 대규모 언어 모델(LLM)의 치명적인 망각 문제를 해결하기 위해 OA-Adapter라는 새로운 매개변수 효율적인 방법을 제안합니다. OA-Adapter는 동적 예산 적응과 직교 부분 공간 학습을 단일 엔드투엔드 훈련 단계에서 통합하여, 변화하는 작업 복잡성과 계층에 따라 효율적인 매개변수 예산을 할당하고 작업 목표를 최적화하는 동적 병목 차원 적응 메커니즘을 도입합니다. 기존 지식을 효과적으로 보존하면서 동적 예산 할당과 조정하기 위해, 현재 작업의 매개변수 부분 공간과 과거 작업의 동적으로 할당된 매개변수 부분 공간 사이에 직교 제약 조건을 적용합니다. 실험 결과, OA-Adapter는 정확도와 매개변수 효율성 면에서 최첨단 방법들을 능가하며, 표준 CL 벤치마크에서 평균 정확도는 높이고 매개변수는 58.5% 적게 사용합니다.
