Bài báo này đề xuất "phản chính quy hóa", một kỹ thuật mới nhằm tăng cường khả năng biểu đạt của các mô hình trong môi trường dữ liệu nhỏ một cách có chủ đích. Phản chính quy hóa đưa một số hạng phần thưởng đảo ngược vào hàm mất mát, tăng cường khả năng biểu đạt của các mô hình ở kích thước mẫu nhỏ và làm mờ dần các can thiệp khi kích thước mẫu tăng lên, tuân theo lịch trình suy giảm theo luật lũy thừa. Chúng tôi xây dựng các điều kiện an toàn phổ và các ràng buộc vùng tin cậy, đồng thời thiết kế một cơ chế an toàn nhẹ kết hợp toán tử chiếu và cắt gradient để đảm bảo các can thiệp ổn định. Phân tích lý thuyết mở rộng sang làm mịn tuyến tính và các chế độ hạt nhân tiếp tuyến thần kinh, cung cấp hướng dẫn thực tế về việc lựa chọn số mũ suy giảm thông qua sự đánh đổi thực nghiệm giữa rủi ro và phương sai. Kết quả thực nghiệm chứng minh rằng phản chính quy hóa làm giảm thiểu hiện tượng thiếu khớp trong cả hồi quy và phân loại, đồng thời duy trì hiệu suất tổng quát hóa và cải thiện hiệu chuẩn. Các phân tích sâu hơn xác nhận rằng lịch trình suy giảm và cơ chế an toàn là cần thiết để tránh hiện tượng quá khớp và mất ổn định. Hơn nữa, chúng tôi đề xuất một lịch trình mục tiêu bậc tự do duy trì độ phức tạp không đổi trên mỗi mẫu. Phi chuẩn hóa là một quy trình đơn giản và có thể tái tạo được, tích hợp liền mạch vào các quy trình giảm thiểu rủi ro theo kinh nghiệm tiêu chuẩn, cho phép học tập mạnh mẽ trong điều kiện dữ liệu và tài nguyên hạn chế bằng cách chỉ can thiệp khi cần thiết và loại bỏ nếu không.
