Bài báo này nêu ra nguy cơ rằng các chuẩn mực mô hình ngôn ngữ quy mô lớn (LLM) có sẵn công khai có thể bị vô tình (hoặc cố ý) sử dụng trong quá trình đào tạo hoặc lựa chọn LLM trong tương lai, có khả năng dẫn đến ô nhiễm mô hình. Các giải pháp hiện có, chẳng hạn như bảo mật chuẩn mực và gửi mô hình/dự đoán của người tham gia, dựa vào sự tin tưởng vào một tổ chức cụ thể và để ngỏ khả năng quá khớp thông qua các truy vấn lặp lại. Bài báo này đề xuất một phương pháp công khai các chuẩn mực, cho phép đánh giá công khai các LLM mà không tiết lộ toàn bộ câu trả lời. Ý tưởng cốt lõi là đưa tính ngẫu nhiên vào các câu trả lời bằng cách cung cấp nhiều câu trả lời đúng về mặt logic và chỉ bao gồm một trong số chúng là câu trả lời đúng. Cách tiếp cận này làm giảm độ chính xác Bayesian của chuẩn mực, bảo vệ câu trả lời đúng và cung cấp một bài kiểm tra để phát hiện ô nhiễm dữ liệu. Vì ngay cả các mô hình hoàn hảo cũng không thể vượt quá độ chính xác Bayesian, nên việc vượt quá nó là một chỉ báo mạnh về ô nhiễm dữ liệu. Kết quả thực nghiệm chứng minh rằng phương pháp này có thể phát hiện chính xác ô nhiễm dữ liệu trên nhiều chuẩn mực, mô hình và phương pháp học khác nhau.
