Bài báo này trình bày một phương pháp mới để khắc phục những hạn chế của kiến trúc Transformer hiện có được sử dụng cho các tác vụ phân tích hình thái dựa trên đồ thị và lưới. Các phương pháp hiện có phụ thuộc rất nhiều vào các đặc điểm phổ, thường sử dụng các lớp chú ý truyền thống đòi hỏi các phương pháp dựa trên phân tích trị riêng tốn kém. Để mã hóa các cấu trúc lưới, các phương pháp này suy ra các nhúng vị trí phụ thuộc rất nhiều vào các phép toán phân tích trị riêng dựa trên ma trận Laplacian hoặc các chữ ký hạt nhân cột và liên kết chúng với các đặc điểm đầu vào. Lấy cảm hứng từ phép tính ngoài rời rạc, xây dựng rõ ràng toán tử Laplacian Hodge dưới dạng tích của các toán tử Hodge rời rạc, $(L := \star_0^{-1} d_0^T \star_1 d_0)$ , chúng tôi điều chỉnh kiến trúc Transformer thành một lớp học sâu mới xấp xỉ các ma trận Hodge $\star_0$, $\star_1$ và $\star_2$ bằng cách sử dụng cơ chế chú ý nhiều đầu và học một họ các toán tử rời rạc $L$ tác động lên các đỉnh, cạnh và mặt của lưới. Phương pháp của chúng tôi cung cấp một kiến trúc hiệu quả về mặt tính toán, đạt được hiệu suất tương đương đối với các nhiệm vụ phân đoạn và phân loại lưới thông qua một khuôn khổ học trực tiếp mà không cần các hoạt động phân tích giá trị riêng tốn kém hoặc các hoạt động xử lý trước phức tạp.
