Trong bài báo này, chúng tôi đề xuất một khuôn khổ Lựa chọn Tập lõi Bảo toàn Tiện ích (UPCORE) để giải quyết tình trạng suy giảm hiệu suất xảy ra trong quá trình bỏ học, bao gồm việc xóa hoặc "quên" một số điểm dữ liệu nhất định khỏi mô hình đã được huấn luyện trước, đặc biệt là trong các mô hình ngôn ngữ quy mô lớn (LLM). UPCORE giảm thiểu sự suy giảm hiệu suất mô hình sau khi bỏ học bằng cách loại bỏ các giá trị ngoại lai khỏi tập dữ liệu bị bỏ quên có tương quan với phương sai của các biểu diễn của mô hình. Trong ba phương pháp bỏ học tiêu chuẩn, UPCORE cân bằng hiệu quả các mục tiêu xung đột giữa hiệu quả xóa dữ liệu và bảo toàn hiệu suất mô hình, và chúng tôi chứng minh điều này bằng một thước đo đánh giá mới dựa trên AUC. UPCORE cải thiện hiệu suất bằng cách thúc đẩy chuyển giao tích cực giữa tập lõi và các điểm dữ liệu bị xóa, đồng thời giảm chuyển giao tiêu cực từ các điểm dữ liệu bị xóa sang các điểm dữ liệu khác.
