본 논문은 신경망 내의 오래되거나 부정확한 지식을 수정하는 지식 편집에 대해 다룬다. 기존 연구에서 사용된 수동으로 라벨링된 사실적 트리플 대신 쉽게 접근 가능한 문서를 사용하여 지식 편집을 탐구한다. 이를 위해, 반실제 지식을 포함하는 문서로 구성된 최초의 평가 벤치마크인 DocTER를 구축한다. 편집 성공률, 지역성, 추론, 그리고 교차 언어 전이라는 네 가지 관점에서 종합적인 평가를 수행한다. 기존의 트리플 기반 지식 편집 방법을 이 작업에 적용하기 위해, 문서에서 트리플을 추출한 후 기존 방법을 적용하는 Extract-then-Edit 파이프라인을 개발한다. 여러 지식 편집 방법에 대한 실험을 통해 문서를 사용한 편집이 트리플을 사용하는 것보다 상당히 더 어렵다는 것을 보여준다. 문서 기반 시나리오에서, 최고 성능의 컨텍스트 내 편집 방법조차도 골드 트리플을 사용하는 것과 비교하여 편집 성공률이 10점 뒤처진다. 이러한 관찰은 추론 및 교차 언어 테스트 세트에도 적용된다. 추출된 트리플의 품질, 문서에서 편집된 지식의 빈도와 위치, 추론을 향상시키기 위한 다양한 방법, 그리고 교차 언어 지식 편집의 다양한 방향에 따른 성능 차이 등 작업 성능에 영향을 미치는 주요 요인을 분석하여 향후 연구에 대한 귀중한 통찰력을 제공한다.
