Bài báo này đề xuất AdEval, một phương pháp đánh giá dữ liệu động, để giải quyết vấn đề ô nhiễm dữ liệu trong các đánh giá mô hình ngôn ngữ quy mô lớn (LLM). AdEval giảm thiểu nguy cơ ô nhiễm dữ liệu bằng cách trích xuất các điểm kiến thức và ý tưởng chính từ các tập dữ liệu tĩnh và liên kết chúng một cách động với nội dung cốt lõi của các chuẩn mực tĩnh. Phương pháp này thu thập thông tin nền thông qua tìm kiếm trực tuyến để tạo ra các giải thích chi tiết về các điểm kiến thức và thiết kế các câu hỏi trên sáu chiều (ghi nhớ, hiểu, áp dụng, phân tích, đánh giá và sáng tạo) dựa trên thang bậc nhận thức Bloom, cho phép đánh giá nhận thức đa cấp. Phương pháp này kiểm soát độ phức tạp của các tập dữ liệu được tạo động thông qua việc tái cấu trúc câu hỏi lặp đi lặp lại. Kết quả thử nghiệm trên nhiều tập dữ liệu chứng minh rằng AdEval giảm thiểu hiệu quả tác động của ô nhiễm dữ liệu, giải quyết vấn đề thiếu kiểm soát độ phức tạp và các vấn đề đánh giá đơn chiều, đồng thời tăng cường tính công bằng, độ tin cậy và tính đa dạng của các đánh giá LLM.
