본 논문은 기존 지식 편집(KE) 방법들이 단일 사실 수정에는 효과적이나, 수정된 지식에 의존하는 다단계 추론 작업으로의 일반화에는 어려움을 겪는다는 문제점을 제기합니다. 이러한 문제는 LLMs의 지식 기반 추론에 사용되는 신경 경로인 추론 회로(reasoning circuits) 분석을 통해, 기존의 몇몇 계층만 편집하는 KE 방법들이 수정된 정보를 효과적으로 이러한 추론 경로에 통합하지 못함을 발견한 데서 기인합니다. 따라서 본 논문에서는 추론 회로 분석을 기반으로 전략적으로 선별된 데이터를 활용하여 모델이 수정된 지식을 활용하도록 유도하고, 새로운 지식에 대한 적절한 추론 회로를 개발하도록 자극하는 새로운 방법인 CaKE(Circuit-aware Knowledge Editing)를 제안합니다. 실험 결과, CaKE는 관련 추론 작업 전반에 걸쳐 수정된 지식을 더 정확하고 일관되게 사용하여 기존 KE 방법에 비해 MQuAKE 데이터셋에서 다단계 추론 정확도를 평균 20% 향상시켰습니다. 코드와 데이터는 https://github.com/zjunlp/CaKE 에서 공개됩니다.
