CRAFT: Forgetting-Aware Intervention-Based Adaptation for Continual Learning

작성자

Haebom

카테고리

Empty

저자

Md Anwar Hossen, Fatema Siddika, Juan Pablo Munoz, Tanya Roosta, Ali Jannesari

💡 개요

이 논문은 대규모 언어 모델(LLM)의 지속적인 학습 과정에서 발생하는 치명적인 망각(catastrophic forgetting) 문제를 해결하기 위해 모델 가중치를 직접 수정하는 대신, 은닉 표현(hidden representations)에 저차원 개입(low-rank interventions)을 적용하는 CRAFT 프레임워크를 제안합니다. CRAFT는 작업 라우팅, 정규화, 통합 과정을 KL 발산을 통해 단일 목표로 통합하여 망각을 효과적으로 제어하고 성능을 향상시킵니다.

🔑 시사점 및 한계

•

LLM의 지속적인 학습에서 모델 가중치 업데이트 없이도 망각을 줄이고 성능을 향상시키는 효과적인 방법론을 제시합니다.

•

출력 공간의 분포 발산을 기반으로 작업 간의 유사성을 파악하고, 이를 통해 망각 제어 및 수렴을 효과적으로 조절합니다.

•

KL 발산을 중심으로 라우팅, 정규화, 통합 과정을 통합하여 확장 가능하고 원칙적인 지속 학습 프레임워크를 구축합니다.

•

제안된 CRAFT 방법은 다양한 벤치마크와 모델 규모에서 기존 LoRA 기반 접근 방식보다 우수한 성능을 보이며 작업 순서에도 강건함을 나타냅니다.

PDF 보기

Made with Slashpage