Bài báo này đề cập đến những thách thức trong việc đánh giá các phương pháp quy kết đặc trưng trong AI có thể giải thích (XAI). Mặc dù các nhà nghiên cứu thường dựa vào các số liệu dựa trên nhiễu động khi không có dữ liệu thực tế, nhưng các nghiên cứu gần đây đã chỉ ra rằng các số liệu này có thể hoạt động khác nhau giữa các lớp dự đoán trong cùng một tập dữ liệu. "Hiệu ứng đánh giá phụ thuộc lớp" này đặt ra câu hỏi về việc liệu phân tích nhiễu động có đo lường đáng tin cậy chất lượng quy kết hay không, và có ý nghĩa trực tiếp đối với việc phát triển và độ tin cậy đánh giá của các phương pháp XAI. Trong bài báo này, chúng tôi nghiên cứu những điều kiện nào mà các hiệu ứng phụ thuộc lớp như vậy xảy ra thông qua các thí nghiệm có kiểm soát sử dụng dữ liệu chuỗi thời gian tổng hợp với các vị trí đặc trưng thực tế đã biết. Sau khi thay đổi một cách có hệ thống các loại đặc trưng và độ tương phản lớp trong một tác vụ phân loại nhị phân, chúng tôi so sánh điểm suy giảm dựa trên nhiễu động với các số liệu hồi tưởng chính xác dựa trên dữ liệu thực tế bằng cách sử dụng nhiều phương pháp quy kết. Kết quả cho thấy các hiệu ứng phụ thuộc lớp hiện diện trong cả hai phương pháp đánh giá, ngay cả trong các tình huống đơn giản với các đặc trưng được định vị theo thời gian, do những thay đổi cơ bản về biên độ hoặc phạm vi thời gian của đặc trưng. Quan trọng nhất, các số liệu dựa trên nhiễu động và các số liệu thực tế thường đưa ra các ước tính mâu thuẫn về chất lượng quy kết giữa các lớp, và mối tương quan giữa các phương pháp đánh giá là yếu. Những kết quả này cho thấy các nhà nghiên cứu nên thận trọng khi diễn giải các số liệu dựa trên nhiễu động, vì chúng không phải lúc nào cũng tương ứng với việc liệu phép quy kết có xác định chính xác các đặc điểm phân biệt hay không. Bằng cách chứng minh sự khác biệt này, nghiên cứu này chỉ ra nhu cầu xem xét lại những gì các đánh giá quy kết thực sự đo lường và phát triển các phương pháp đánh giá chặt chẽ hơn, nắm bắt được nhiều khía cạnh của chất lượng quy kết.
