본 논문은 대규모 언어 모델(LLM)에서 오래되거나 잘못된 정보를 수정하는 지식 편집(KE) 방법을 제시합니다. 기존의 KE 방법들은 개별적인 사실들을 업데이트할 수 있지만, 수정된 지식에 의존하는 다단계 추론 작업으로의 일반화에는 실패하는 경우가 많습니다. 본 논문에서는 LLM이 지식 기반 추론에 사용하는 신경 경로인 추론 회로 분석을 통해, 단일 또는 소수의 모델 계층만 편집하는 기존의 계층-국소화 KE 접근 방식(예: MEMIT, WISE)이 업데이트된 지식을 이러한 추론 경로에 제대로 통합하지 못한다는 것을 발견했습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 LLM에서 업데이트된 지식의 효과적인 통합을 향상시키는 새로운 방법인 CaKE(Circuit-aware Knowledge Editing)를 제시합니다. 회로 기반 분석에 의해 안내되는 소수의 엄선된 데이터 샘플만 활용하여, CaKE는 모델이 새롭게 통합된 지식에 대한 적절한 추론 회로를 개발하도록 자극합니다. 실험 결과, CaKE는 관련 추론 작업 전반에 걸쳐 편집된 지식을 더 정확하고 일관되게 사용할 수 있도록 하며, 기존 KE 방법보다 메모리를 적게 사용하면서 MQuAKE 데이터셋에서 다단계 추론 정확도를 평균 20% 향상시켰습니다. 코드와 데이터는 https://github.com/zjunlp/CaKE에서 공개합니다.
시사점, 한계점
•
시사점:
◦
LLM의 추론 회로 분석을 기반으로 한 새로운 지식 편집 방법 CaKE 제시.
◦
기존 방법 대비 향상된 다단계 추론 정확도 (평균 20% 향상).
◦
메모리 효율적인 지식 편집 가능.
◦
관련 추론 작업 전반에서 편집된 지식의 정확하고 일관된 사용 가능.
◦
코드 및 데이터 공개.
•
한계점:
◦
MQuAKE 데이터셋에 대한 실험 결과만 제시되어 다른 데이터셋으로의 일반화 가능성에 대한 추가 연구 필요.
