Bài báo này trình bày SEAT, một phương pháp mới để giải quyết vấn đề quên nghiêm trọng phát sinh trong quá trình tinh chỉnh các mô hình ngôn ngữ quy mô lớn (LLM). Không giống như các nghiên cứu trước đây tập trung vào việc duy trì hiệu suất trên dữ liệu hiện có, bài báo này tập trung vào việc mất các khả năng thiết yếu có được trong quá trình căn chỉnh, đặc biệt là khả năng biểu diễn chính xác sự không chắc chắn của mô hình (nhận thức về sự thiếu hiểu biết). Các tác giả chính thức hóa khái niệm nhận thức về sự thiếu hiểu biết và chỉ ra rằng các phương pháp tinh chỉnh hiện có có thể làm suy yếu nhận thức về sự thiếu hiểu biết bằng cách gây ra sự trôi dạt kích hoạt, dẫn đến các hành vi không mong muốn như ảo giác. SEAT tích hợp điều chỉnh thưa thớt, giúp hạn chế sự trôi dạt kích hoạt và một phương pháp nhiễu loạn thực thể mới để giải quyết tình trạng vướng víu kiến thức, thu thập hiệu quả kiến thức mới đồng thời duy trì nhận thức về sự thiếu hiểu biết đã được căn chỉnh. Kết quả thực nghiệm cho thấy SEAT vượt trội hơn các phương pháp hiện có về cả khả năng duy trì nhận thức về sự thiếu hiểu biết và hiệu suất tinh chỉnh trên cả tập dữ liệu thực và tổng hợp.
