본 논문은 편미분 방정식(PDE)을 지배하는 사상을 학습하기 위한 유망한 프레임워크로 떠오른 신경 연산자에 대해 다룹니다. 기존의 수치적 방법에 대한 데이터 기반 대안으로 작용하는 신경 연산자는 균일한 그리드에 의존하는 Fourier 신경 연산자(FNO)와 같은 방법들이 우수한 성능을 보였지만, 복잡한 기하학적 구조와 불규칙적인 메쉬에는 적용하기 어려운 한계가 있습니다. 본 논문에서는 선형 어텐션 메커니즘을 가진 Transformer 기반 신경 연산자가 이러한 한계를 극복할 가능성을 제시하지만, 주로 전역적 특징 집계에 초점을 맞춰 정확한 해를 위해 필수적인 미세한 역학 및 국지적인 PDE 동작을 간과하는 점을 지적합니다. 이러한 문제를 해결하기 위해, 본 논문은 K-최근접 이웃을 이용한 동적 패치화와 전역-국지 어텐션을 통합한 Locality-Aware Attention Transformer (LA2Former)를 제안합니다. LA2Former는 효율적인 전역 컨텍스트 인코딩을 위한 선형 어텐션과 복잡한 국지적 상호 작용을 포착하기 위한 쌍방향 어텐션을 결합하여 계산 효율성과 예측 정확도 간의 최적의 균형을 달성합니다. 6개의 벤치마크 데이터셋에 대한 광범위한 평가를 통해 LA2Former가 기존 선형 어텐션 방법보다 예측 정확도를 50% 이상 향상시키고, 최적의 조건에서는 완전한 쌍방향 어텐션보다 더 나은 성능을 보임을 입증합니다.
