본 논문은 고해상도 입력 처리에 어려움을 겪는 기존 Transformer의 한계를 극복하기 위해, 다중극(multipole) 방법을 활용한 새로운 Attention 메커니즘인 Multipole Attention Neural Operator (MANO)를 제안합니다. MANO는 attention을 격자점 간의 상호작용 문제로 재구성하여 거리 기반 다중 스케일 방식으로 attention을 계산합니다. 이를 통해 각 attention head에서 전역 수용 영역을 유지하면서 격자점 수에 대해 선형 시간 및 메모리 복잡도를 달성합니다. 이미지 분류 및 Darcy flow 실험 결과, MANO는 ViT 및 Swin Transformer와 같은 최첨단 모델에 필적하는 성능을 보이면서 실행 시간과 최대 메모리 사용량을 몇 배나 줄이는 것으로 나타났습니다. 코드는 공개적으로 제공됩니다.
