Bài báo này đề cập đến việc chỉnh sửa kiến thức, giúp sửa chữa kiến thức lỗi thời hoặc không chính xác trong mạng nơ-ron. Thay vì các bộ ba dữ kiện được gắn nhãn thủ công như trong các nghiên cứu trước đây, chúng tôi khám phá việc chỉnh sửa kiến thức bằng cách sử dụng các tài liệu dễ truy cập. Để đạt được mục đích này, chúng tôi xây dựng DocTER, chuẩn mực đánh giá đầu tiên bao gồm các tài liệu chứa kiến thức bán thực. Chúng tôi thực hiện đánh giá toàn diện theo bốn khía cạnh: tỷ lệ thành công khi chỉnh sửa, vị trí, suy luận và chuyển giao xuyên ngôn ngữ. Để áp dụng các phương pháp chỉnh sửa kiến thức dựa trên bộ ba hiện có vào nhiệm vụ này, chúng tôi phát triển một quy trình Trích xuất rồi Chỉnh sửa để trích xuất các bộ ba từ tài liệu và sau đó áp dụng các phương pháp hiện có. Các thử nghiệm trên một số phương pháp chỉnh sửa kiến thức cho thấy việc chỉnh sửa bằng tài liệu khó hơn đáng kể so với sử dụng bộ ba. Trong các tình huống dựa trên tài liệu, ngay cả phương pháp chỉnh sửa theo ngữ cảnh có hiệu suất tốt nhất cũng chậm hơn bộ ba vàng về tỷ lệ thành công khi chỉnh sửa là 10 điểm. Quan sát này cũng đúng đối với các bộ kiểm tra suy luận và xuyên ngôn ngữ. Chúng tôi phân tích các yếu tố chính ảnh hưởng đến hiệu suất của nhiệm vụ, bao gồm chất lượng của các bộ ba được trích xuất, tần suất và vị trí của kiến thức đã chỉnh sửa trong tài liệu, các phương pháp khác nhau để cải thiện suy luận và sự khác biệt về hiệu suất theo các hướng chỉnh sửa kiến thức xuyên ngôn ngữ khác nhau, cung cấp thông tin chi tiết có giá trị cho nghiên cứu trong tương lai.
