Bài báo này đề xuất OBLIVIATE , một khuôn khổ bỏ học mạnh mẽ, để giải quyết vấn đề của các mô hình ngôn ngữ quy mô lớn (LLM) được đào tạo trên các tập dữ liệu khổng lồ ghi nhớ nội dung nhạy cảm, có bản quyền hoặc nội dung phản cảm. OBLIVIATE tuân theo một quy trình có cấu trúc về trích xuất mã thông báo mục tiêu, xây dựng tập dữ liệu bảo trì và tinh chỉnh bằng cách sử dụng hàm mất mát tùy chỉnh bao gồm ba thành phần: che giấu, chắt lọc kiến thức và kiến thức thế giới. Nó sử dụng bộ điều hợp hạng thấp (LoRA) để duy trì hiệu quả mà không ảnh hưởng đến chất lượng bỏ học. Các thí nghiệm được tiến hành trên nhiều tập dữ liệu khác nhau, bao gồm bộ truyện Harry Potter, WMDP và TOFU, sử dụng các số liệu toàn diện như chất lượng quên, tính hữu ích của mô hình và tính lưu loát, bao gồm cả điểm thu hồi cấp tài liệu mới. OBLIVIATE chứng minh khả năng chống lại các cuộc tấn công suy luận thành viên, tác động tối thiểu đến dữ liệu bảo trì và hiệu suất mạnh mẽ trong nhiều tình huống khác nhau.
