Bài báo này nghiên cứu cách ước tính độ bất định có thể được sử dụng để nâng cao tính an toàn và độ tin cậy của các hệ thống học máy (ML), vốn ngày càng được triển khai trong các lĩnh vực rủi ro cao và yêu cầu độ tin cậy cao. Cụ thể, chúng tôi tập trung vào dự đoán chọn lọc, trong đó các mô hình không đưa ra dự đoán khi độ tin cậy thấp. Đầu tiên, chúng tôi chứng minh rằng đường dẫn huấn luyện của mô hình chứa nhiều tín hiệu bất định có thể được tận dụng mà không làm thay đổi kiến trúc hoặc mất mát. Bằng cách tổng hợp các dự đoán từ các điểm kiểm tra trung gian, chúng tôi đề xuất một phương pháp loại trừ hậu hoc nhẹ, hoạt động trên nhiều tác vụ khác nhau, tránh chi phí của các tập hợp sâu và đạt được hiệu suất dự đoán chọn lọc tiên tiến. Quan trọng là, phương pháp này hoàn toàn tương thích với quyền riêng tư khác biệt (DP), cho phép chúng tôi nghiên cứu cách nhiễu quyền riêng tư tác động đến chất lượng bất định. Mặc dù nhiều phương pháp bị suy giảm theo DP, phương pháp tiếp cận dựa trên đường dẫn của chúng tôi rất mạnh mẽ và đưa ra một khuôn khổ cho việc đánh đổi quyền riêng tư và bất định tách biệt. Tiếp theo, chúng tôi phát triển một phân tích mẫu hữu hạn của khoảng cách phân loại chọn lọc (độ lệch so với đường cong độ chính xác của oracle) để xác định năm nguồn lỗi có thể diễn giải được và làm rõ các biện pháp can thiệp có thể thu hẹp khoảng cách. Điều này giải thích tại sao chỉ hiệu chuẩn không thể sửa lỗi xếp hạng và đề xuất một phương pháp cải thiện thứ hạng độ bất định. Cuối cùng, chúng tôi chứng minh rằng việc thao túng đối nghịch các tín hiệu độ bất định có thể che giấu lỗi hoặc từ chối dịch vụ trong khi vẫn duy trì độ chính xác cao, và chúng tôi thiết kế một cơ chế phòng thủ kết hợp kiểm tra hiệu chuẩn và suy luận có thể kiểm chứng. Những đóng góp này thúc đẩy học máy (ML) đáng tin cậy bằng cách cải thiện, đánh giá và bảo vệ các ước tính độ bất định, cho phép các mô hình không chỉ đưa ra dự đoán chính xác mà còn biết khi nào nên nói "Tôi không biết".
