Trong bài báo này, chúng tôi đề xuất một kiến trúc mới, VARMAformer, nhằm cải thiện hiệu quả và độ chính xác của các mô hình dự báo chuỗi thời gian dựa trên Transformer. Trong khi vẫn duy trì hiệu quả của các phương pháp chỉ tập trung chéo hiện có, chúng tôi kết hợp các điểm mạnh của mô hình VARMA để nắm bắt hiệu quả hơn các phụ thuộc thời gian cục bộ. Những cải tiến chính bao gồm Trình trích xuất Tính năng (VFE) lấy cảm hứng từ VARMA, mô hình hóa rõ ràng các mẫu AR và MA, và cơ chế Chú ý Tăng cường VARMA (VE-atten), giúp tăng cường nhận thức theo ngữ cảnh. Các thử nghiệm trên nhiều tập dữ liệu chuẩn khác nhau chứng minh rằng VFE vượt trội hơn các mô hình tiên tiến hiện có, minh chứng cho những lợi ích đáng kể của việc tích hợp các thông tin thống kê cổ điển vào các khuôn khổ học sâu hiện đại để dự báo chuỗi thời gian.
