Bài báo này trình bày một khuôn khổ mới để cải thiện khả năng diễn giải mô hình bằng cách tích hợp các bản đồ nhiệt được tạo ra từ ResNet và Transformer 2D được tái cấu trúc với tầm quan trọng đầu vào có trọng số toàn cục. Nó giải quyết vấn đề không khớp thời gian-không gian của các phương pháp diễn giải hiện có (Mạng nơ-ron tích chập không nắm bắt được bối cảnh toàn cục và Transformer thiếu độ chính xác cục bộ) và cung cấp thông tin chi tiết có thể hành động trong các lĩnh vực quan trọng đối với an toàn như chăm sóc sức khỏe và giám sát công nghiệp. Bằng cách hợp nhất các bản đồ kích hoạt có trọng số gradient (ResNet) và triển khai sự chú ý của Transformer thành một hình ảnh trực quan thống nhất, chúng tôi đạt được sự liên kết thời gian-không gian hoàn hảo trong khi vẫn duy trì hiệu suất thời gian thực. Các đánh giá thử nghiệm trên các tập dữ liệu lâm sàng (phát hiện loạn nhịp tim ECG) và công nghiệp (dự đoán mức tiêu thụ năng lượng) chứng minh rằng khuôn khổ kết hợp đạt được độ chính xác 94,1% (F1 0,93) trên tập dữ liệu PhysioNet và giảm lỗi hồi quy xuống RMSE = 0,28 kWh (R2 = 0,95) trên tập dữ liệu UCI Energy Appliance, vượt trội hơn các đường cơ sở ResNet, Transformer và InceptionTime từ 3,8-12,4%. Mô-đun NLP chuyển đổi các bản đồ nhiệt hợp nhất thành các tường thuật cụ thể theo miền (ví dụ: “Đoạn ST cao trong khoảng 2-4 giây cho thấy tình trạng thiếu máu cục bộ cơ tim”), được xác thực bằng điểm BLEU-4 (0,586) và ROUGE-L (0,650). Bằng cách chính thức hóa khả năng diễn giải thành độ trung thực nhân quả và sự liên kết không gian-thời gian, cách tiếp cận của chúng tôi thu hẹp khoảng cách giữa các đầu ra kỹ thuật và sự hiểu biết của các bên liên quan, cung cấp giải pháp có thể mở rộng quy mô để đưa ra quyết định minh bạch và có nhận thức về thời gian.
