CRAFT: Forgetting-Aware Intervention-Based Adaptation for Continual Learning

작성자

Haebom

카테고리

Empty

저자

Md Anwar Hossen, Fatema Siddika, Juan Pablo Munoz, Tanya Roosta, Ali Jannesari

💡 개요

본 논문은 대규모 언어 모델(LLM)의 지속적인 학습 시 발생하는 치명적인 망각 문제를 해결하기 위해 모델 가중치 업데이트 없이 은닉 표현에 저차원 개입(low-rank interventions)을 학습하는 CRAFT 프레임워크를 제안합니다. CRAFT는 유사한 작업 그룹으로 데이터를 라우팅하고, KL 발산을 활용하여 망각을 직접 제어하며, 업데이트된 작업의 개입을 공유 표현으로 병합하는 3단계 과정을 거칩니다. 이 접근 방식은 라우팅, 정규화, 병합을 단일 KL 기반 목표로 통합하며, 여러 벤치마크 및 모델 규모에서 기존 LoRA 기반 접근 방식보다 우수한 성능과 망각 감소 효과를 보입니다.

🔑 시사점 및 한계

•

LLM의 지속적인 학습에서 발생하는 치명적인 망각 문제를 모델 가중치 업데이트 없이 효과적으로 해결할 수 있습니다.

•

KL 발산을 이용한 작업 라우팅, 망각 제어, 개입 병합의 단일 목표 달성은 지속적인 학습의 효율성과 안정성을 높입니다.

•

작업 순서에 덜 민감하면서도 다양한 모델 규모와 벤치마크에서 강력한 성능을 보여 확장 가능성이 있습니다.

•

본 연구는 은닉 표현 공간에서의 적응을 출력 공간 발산을 통해 제어하는 것이 LLM 지속 학습에 대한 확장 가능하고 원칙적인 접근 방식임을 시사합니다.

•

CRAFT의 연산 비용 및 효율성에 대한 추가적인 실험적 검증이 필요할 수 있습니다.

PDF 보기

Made with Slashpage