Bài báo này đề xuất một cơ chế chú ý mới, được gọi là Adaptive Filter Attention (AFA). AFA tích hợp trực tiếp một mô hình động có thể học được vào việc tính toán trọng số chú ý. Thay vì so sánh trực tiếp các truy vấn và khóa, nó mô hình hóa chuỗi đầu vào như các quan sát rời rạc của phương trình vi phân ngẫu nhiên tuyến tính (SDE). Đồng thời, bằng cách áp dụng một mô hình động tuyến tính với ma trận trạng thái có thể chéo hóa và hiệp phương sai nhiễu, nó truyền bá hiệu quả sự không chắc chắn tương hỗ động bằng cách sử dụng giải pháp dạng đóng của phương trình Lyapunov vi phân. Sự chú ý tự nhiên xuất hiện như một giải pháp có khả năng xảy ra tối đa cho SDE tuyến tính này và các trọng số chú ý tương ứng với việc tái trọng số dư mạnh mẽ dựa trên độ chính xác tương hỗ được truyền bá. Áp dụng các ràng buộc bổ sung vào các giá trị riêng của ma trận trạng thái tạo ra một biến thể đơn giản hóa với cùng độ phức tạp về tính toán và bộ nhớ như sự chú ý tiêu chuẩn. Bằng cách sử dụng phép xấp xỉ góc nhỏ và hạn chế sự biến mất của các phần tử động và nhiễu quy trình, có thể khôi phục lại sự chú ý tích trong điển hình.
