본 논문은 사전 훈련된 대규모 언어 모델에 새로운 정보나 빠르게 진화하는 정보를 동적으로 통합하는 방법, 특히 데이터가 부족하거나 개인적이고 전문적인 문서를 다룰 때의 어려움을 다룹니다. 문맥 내 학습과 검색 기반 생성(RAG)은 높은 추론 비용과 전역 문서 정보를 포착하지 못하는 한계를 가지고 있습니다. 이에 본 논문에서는 문서 수준 지식 모듈(KM)을 훈련하여 지식을 모듈화하는 방법을 제안합니다. KM은 매개변수 효율적인 LoRA 모듈로 구현된 경량 구성 요소이며, 새로운 문서에 대한 정보를 저장하도록 훈련되고 필요에 따라 모델에 쉽게 통합될 수 있습니다. 본 논문은 다음 토큰 예측이 KM에 대한 훈련 목표로 부적합함을 보이고, 대신 심층 문맥 증류(Deep Context Distillation)를 제안합니다. 즉, 문서를 문맥으로 받아들이는 교사 모델의 은닉 상태와 로짓을 시뮬레이션하도록 KM 매개변수를 학습합니다. 제안된 방법은 두 개의 데이터셋에서 표준 다음 토큰 예측 및 사전 지시 훈련 기법보다 성능이 우수하며, KM과 RAG 간의 시너지 효과를 강조합니다.
