본 논문은 대규모 언어 모델(LLM)의 지식 업데이트 문제를 해결하기 위해 RILKE (Representation Intervention for Lifelong KnowledgE Control)라는 새로운 방법을 제시합니다. RILKE는 모델의 표현 공간 내에서 지식 제어를 개입으로 처리하여, 값비싼 재훈련 없이 효율적이고 정확하게 지식을 업데이트하는 것을 목표로 합니다. 특히 복잡하고 구조화되지 않은 지식을 평생 학습 환경에서 다수의 수정이 서로 간섭 없이 공존해야 하는 상황에서 효과적입니다. RILKE는 paraphrase-robust하고 edit-localized 모듈을 학습하여 각 업데이트를 저차원 부분 공간으로 제한함으로써 상호 간섭을 최소화합니다. 추론 단계에서는 쿼리 적응형 라우터가 적절한 모듈을 선택하여 모델의 생성을 안내합니다. LLaMA 및 Qwen 모델을 사용한 지식 편집 벤치마크 평가에서 RILKE는 대규모 데이터 세트에 대한 확장성, 높은 편집 성공률, 강력한 paraphrase 일반화 및 일반적인 유틸리티 유지를 입증했습니다.
