본 논문은 대규모 언어 모델(LLM)의 특정 지식을 재훈련 없이 효율적으로 업데이트하는 지식 편집(Knowledge Editing)에 대해 다룹니다. 특히, 새로운 지식을 입력 컨텍스트에 직접 주입하는 경량 솔루션인 컨텍스트 내 편집(ICE)에 초점을 맞춥니다. 기존 ICE 접근 방식은 새로 주입된 지식과 모델의 원래 추론 과정을 명시적으로 분리하지 않아 외부 업데이트와 내부 매개변수 지식 간의 충돌을 야기하고 추론 경로의 일관성과 정확성을 저해하는 문제점을 가지고 있습니다. 본 연구는 매개변수 지식이 추론 경로 계획에 미치는 영향을 조사하는 예비 실험을 수행하고, 새로운 정보를 추론 경로를 조정하지 않고 단순히 주입하면 특히 다단계 작업에서 성능 저하로 이어짐을 발견했습니다. 이를 해결하기 위해, 마스크된 추론 경로를 생성하고 하이브리드 검색 및 모델 기반 검증을 통해 지식 편집을 해결하는 새로운 ICE 프레임워크인 DecKER를 제안합니다. 다단계 질의응답 벤치마크에 대한 실험 결과, DecKER는 지식 충돌을 완화하고 추론 일관성을 유지하여 기존 ICE 방법보다 성능이 크게 향상됨을 보여줍니다.
