본 논문에서는 대규모 언어 모델(LLM)의 RAG(Retrieval-Augmented Generation) 지식을 소규모 언어 모델(SLM)로 증류하는 새로운 프레임워크인 DRAG를 제안합니다. DRAG는 증거 및 지식 그래프 기반 증류를 활용하여, 모델 크기와 계산 비용을 크게 줄이면서 중요한 사실적 지식을 유지합니다. 소규모 모델의 예측을 구조화된 지식 그래프 및 순위가 매겨진 증거와 정렬함으로써 환각을 효과적으로 완화하고 사실적 정확도를 향상시킵니다. 또한, 프레임워크가 사용자 개인 정보 보호 위험을 완화하는 방법을 보여주는 사례와 해당 벤치마크를 제시합니다. 여러 벤치마크에 대한 실험 평가 결과, 본 방법은 동일한 모델을 사용하여 기존의 경쟁적인 RAG 방법(MiniRAG 등)보다 최대 27.7% 향상된 성능을 보이며, 높은 수준의 효율성과 신뢰성을 유지합니다.
