Bài báo này chứng minh rằng một số phương pháp bỏ học máy dễ bị tấn công bằng các phương pháp nhắc nhở đơn giản. Chúng tôi đánh giá một cách có hệ thống tám kỹ thuật bỏ học trên ba họ mô hình, đánh giá khả năng truy xuất kiến thức được cho là chưa học của chúng thông qua các phân tích dựa trên đầu ra, dựa trên logit và thăm dò. Trong khi các phương pháp như RMU và TAR thể hiện khả năng bỏ học mạnh mẽ, ELM lại dễ bị tấn công bằng một số phương pháp nhắc nhở (ví dụ: thêm văn bản lấp đầy tiếng Hindi vào lời nhắc ban đầu sẽ khôi phục độ chính xác 57,3%). Phân tích logit cho thấy các mô hình chưa học ít có khả năng ẩn kiến thức thông qua các thay đổi trong định dạng câu trả lời, do có mối tương quan mạnh giữa đầu ra và độ chính xác logit. Những kết quả này thách thức các giả định thông thường về hiệu quả của việc bỏ học và nhấn mạnh nhu cầu về một khuôn khổ đánh giá đáng tin cậy có thể phân biệt việc loại bỏ kiến thức thực sự với việc loại bỏ đầu ra hời hợt. Để tạo điều kiện cho nghiên cứu sâu hơn, chúng tôi trình bày một khuôn khổ đánh giá hỗ trợ việc đánh giá các kỹ thuật nhắc nhở để truy xuất kiến thức chưa học.
