Bài báo này trình bày một khuôn khổ mới để định lượng độ tin cậy của mạng nơ-ron trong các ứng dụng quan trọng, trong đó sự tin tưởng, sự tự tin và sự không chắc chắn đóng vai trò then chốt trong việc ra quyết định. Các số liệu hiệu suất truyền thống như độ chính xác và độ chính xác không thể nắm bắt được những khía cạnh này, đặc biệt là khi mô hình quá tự tin. Vì mục đích này, chúng tôi đề xuất một khuôn khổ để định lượng độ tin cậy của mạng nơ-ron bằng cách kết hợp logic chủ quan vào đánh giá lỗi hiệu chuẩn dự kiến (ECE). Bằng cách nhóm các xác suất dự đoán và hợp nhất các ý kiến bằng các toán tử hợp nhất thích hợp, chúng tôi cung cấp một thước đo toàn diện về độ tin cậy, sự không tin tưởng và sự không chắc chắn. Các thí nghiệm trên các tập dữ liệu MNIST và CIFAR-10 chứng minh tính hiệu quả của phương pháp của chúng tôi và kết quả sau khi hiệu chuẩn cho thấy độ tin cậy được cải thiện. Khuôn khổ được đề xuất cung cấp một đánh giá dễ diễn giải và chi tiết hơn về các mô hình AI có tiềm năng ứng dụng trong các lĩnh vực nhạy cảm như chăm sóc sức khỏe và hệ thống tự động.
