Transformer 모델의 핵심인 어텐션 메커니즘을 발전시키기 위해, 생물학적 어텐션과 동적 시스템 이론에서 영감을 얻어 Fractional Neural Attention (FNA)을 제안합니다. FNA는 fractional Laplacian에 의해 지배되는 Levy diffusion을 통해 토큰 상호 작용을 모델링하며, 단거리 및 장거리 의존성을 동시에 처리합니다. 이는 Transformer의 기본적인 능력을 향상시키고, 더 나은 표현력과 빠른 정보 혼합을 가능하게 합니다. FNA는 이론적으로 fractional diffusion equation에 의해 지배되며, 향상된 계산 효율성의 지표인 더 큰 스펙트럼 갭과 짧은 경로 길이를 나타냅니다. 실험적으로 FNA는 텍스트 분류, 이미지 처리, 신경 기계 번역에서 경쟁력 있는 성능을 달성합니다. 또한 기하학적 하모닉스의 diffusion map 알고리즘을 통해 임베딩 및 은닉 상태의 본질적인 구조를 유지하면서 FNA 가중치의 차원 축소가 가능합니다.
