Bài báo này đề cập đến vấn đề ảo giác trong các mô hình ngôn ngữ quy mô lớn (LLM), tức là tạo ra các kết quả đầu ra không đúng hoặc không liên quan. Sử dụng một loạt các mô hình Pythia, chúng tôi nghiên cứu mối quan hệ giữa sự không chắc chắn trong động lực đào tạo và sự xuất hiện của ảo giác. Chúng tôi xác định được sự biến thiên đáng kể trong quá trình đào tạo và đề xuất Sensitivity Dropout (SenD), một giao thức đào tạo mới loại bỏ một cách quyết định các chỉ số nhúng có độ biến động cao để giải quyết vấn đề này. Chúng tôi cũng phát triển và tích hợp Efficient EigenScore (EES), một thước đo phát hiện ảo giác không giám sát nhanh gấp đôi so với EigenScore thông thường, vào SenD. SenD cải thiện độ tin cậy thời gian kiểm tra của các mô hình Pythia và Llama lên đến 17% và cải thiện độ chính xác thực tế trên Wikipedia, y học, luật pháp và mã hóa mà không ảnh hưởng đến hiệu suất của các tác vụ tiếp theo.
