본 논문은 그래프 및 메쉬 기반 형태 분석 작업에 사용되는 기존 Transformer 아키텍처의 한계를 극복하기 위한 새로운 접근법을 제시합니다. 기존 방식은 고가의 고유값 분해 기반 방법을 필요로 하는 스펙트럼 특징을 크게 활용하는 전통적인 어텐션 레이어를 사용합니다. 메쉬 구조를 인코딩하기 위해, 이러한 방법들은 라플라시안 행렬 또는 열 커널 시그니처에 기반한 고유값 분해 연산에 크게 의존하는 위치 임베딩을 도출하고, 이를 입력 특징에 연결합니다. 본 논문에서는 이산 외적 미적분에서 이산 호지 연산자의 곱으로 호지 라플라시안 연산자를 명시적으로 구성하는 것에서 영감을 얻은 새로운 방법을 제안합니다. 즉, $(L := \star_0^{-1} d_0^T \star_1 d_0)$ 입니다. 본 논문은 다중 헤드 어텐션 메커니즘을 활용하여 호지 행렬 $\star_0$, $\star_1$, $\star_2$를 근사하고 메쉬 정점, 에지, 면에 작용하는 이산 연산자 $L$의 패밀리를 학습하는 새로운 심층 학습 레이어에서 Transformer 아키텍처를 조정합니다. 본 연구의 접근 방식은 고가의 고유값 분해 연산이나 복잡한 전처리 연산 없이 직접적인 학습 프레임워크를 통해 메쉬 분할 및 분류 작업에서 비슷한 성능을 달성하는 계산 효율적인 아키텍처를 제공합니다.
