Bài báo này đề xuất một phương pháp mới để cải thiện hiệu quả của các kiến trúc Transformer hiện có, được áp dụng cho đồ thị và lưới cho các tác vụ phân tích hình thái. Các phương pháp hiện có sử dụng các lớp chú ý truyền thống, vốn sử dụng nhiều đặc trưng phổ, đòi hỏi các phương pháp phân tích trị riêng tốn kém. Để mã hóa các cấu trúc lưới, các phương pháp này suy ra các nhúng vị trí, vốn phụ thuộc nhiều vào các phép toán phân tích trị riêng từ ma trận Laplacian hoặc các chữ ký hạt nhân cột, sau đó nối chúng với các đặc trưng đầu vào. Bài báo này trình bày một phương pháp mới lấy cảm hứng từ việc xây dựng toán tử Laplacian Hodge một cách rõ ràng trong phép tính vi phân rời rạc ngoài, được biểu diễn dưới dạng tích của toán tử Hodge rời rạc và đạo hàm ngoài ($L := \star_0^{-1} d_0^T \star_1 d_0$). Bài báo này điều chỉnh kiến trúc Transformer thành một lớp học sâu mới, xấp xỉ các ma trận Hodge $\star_0$, $\star_1$ và $\star_2$ bằng cơ chế chú ý đa đầu và học một họ các toán tử rời rạc L tác động lên các đỉnh, cạnh và mặt lưới. Phương pháp của chúng tôi tạo ra một kiến trúc hiệu quả về mặt tính toán, đạt được hiệu suất tương đương trong các tác vụ phân đoạn và phân loại lưới thông qua một khuôn khổ học trực tiếp, mà không cần các phép phân tích trị riêng tốn kém hoặc các phép tiền xử lý phức tạp.
