Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới. Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận. Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.
LLM Unlearning mà không cần bộ dữ liệu được chuyên gia tuyển chọn
Created by
Haebom
Tác giả
Xiaoyuan Zhu, Muru Zhang, Ollie Liu, Robin Jia, Willie Neiswanger
Phác thảo
Bài báo này khám phá một kỹ thuật bỏ học hậu hoc (post-hoc unlearning) loại bỏ các miền kiến thức cụ thể mà không cần đào tạo lại toàn bộ mô hình để giải quyết vấn đề của các mô hình ngôn ngữ quy mô lớn hiện đại mã hóa kiến thức nhạy cảm, có hại hoặc có bản quyền. Một nút thắt quan trọng trong các quy trình bỏ học hậu hoc thông thường là xây dựng các "bộ quên" hiệu quả, xấp xỉ miền mục tiêu và khiến mô hình quên nó. Bài báo này trình bày một phương pháp có thể mở rộng và tự động hóa, tạo ra các "bộ quên" chất lượng cao bằng chính mô hình ngôn ngữ. Dữ liệu theo kiểu sách giáo khoa được tổng hợp thông qua một đường ống nhắc có cấu trúc, chỉ yêu cầu tên miền làm đầu vào. Các thí nghiệm về bỏ học trong lĩnh vực an ninh sinh học, an ninh mạng và tiểu thuyết Harry Potter chứng minh rằng tập dữ liệu tổng hợp luôn vượt trội hơn các tập dữ liệu tổng hợp hiện có và hoạt động ngang bằng với các tập dữ liệu do chuyên gia tuyển chọn. Hơn nữa, các nghiên cứu loại bỏ cho thấy đường ống tạo nhiều giai đoạn giúp tăng cường đáng kể tính đa dạng của dữ liệu, do đó nâng cao tiện ích của việc bỏ học. Tóm lại, nghiên cứu này trình bày các tập dữ liệu tổng hợp như một phương pháp đầy hứa hẹn cho việc bỏ học thực tế và có thể mở rộng trong nhiều lĩnh vực mới nổi mà không cần can thiệp thủ công. Mã và tập dữ liệu được công khai tại https://github.com/xyzhu123/Synthetic_Textbook .
Chúng tôi trình bày một phương pháp tự động để tạo ra 'bộ quên' bằng cách sử dụng chính mô hình ngôn ngữ, cải thiện hiệu quả và khả năng mở rộng của quá trình cắt tỉa sau đào tạo.
◦
Các tập dữ liệu tổng hợp vượt trội hơn các phương pháp hiện có và tạo ra kết quả tương đương với các tập dữ liệu do chuyên gia biên soạn.
◦
Tăng tính đa dạng của dữ liệu và nâng cao khả năng sử dụng của phép bù trừ học tập thông qua quy trình tạo dữ liệu nhiều giai đoạn.
◦
Trình bày khả năng loại bỏ sau khi học thực tế cho nhiều lĩnh vực khác nhau.
•
Limitations:
◦
Cần nghiên cứu thêm để xác định hiệu suất tổng quát hóa của phương pháp đề xuất. Có khả năng xảy ra hiện tượng quá khớp với một số miền nhất định.
◦
Chất lượng của các tập dữ liệu tổng hợp có thể phụ thuộc vào hiệu suất của các mô hình ngôn ngữ và kỹ thuật nhanh chóng.
◦
Hiệu suất có thể giảm sút do sự khác biệt so với dữ liệu thực tế.
◦
Cần cân nhắc đến các vấn đề thiên vị tiềm ẩn có thể phát sinh trong quá trình tạo 'bộ quên'.
