본 논문은 구면 영역에 대한 일반화된 어텐션 메커니즘을 제시합니다. 이 메커니즘을 통해 트랜스포머 아키텍처는 2차원 구면 상에 정의된 데이터를 자연스럽게 처리할 수 있습니다. 이는 대기 물리학, 우주론, 로봇 공학 등 구면 대칭성과 위상을 유지하는 것이 물리적 정확성에 필수적인 분야에서 중요한 요구사항입니다. 수치 적분 가중치를 어텐션 메커니즘에 통합하여 기하학적으로 충실한 구면 어텐션을 얻는데, 이는 근사적으로 회전 등변적이며 강력한 귀납적 편향을 제공하여 카르테시안 접근 방식보다 성능이 우수합니다. 확장성과 모델 성능을 더욱 향상시키기 위해 구면 상의 근접 어텐션을 제안하는데, 이는 상호 작용을 측지선 근방으로 제한합니다. 이 접근 방식은 계산 복잡성을 줄이고 국소성에 대한 추가적인 귀납적 편향을 도입하면서 메서드의 대칭 속성을 유지합니다. 실용적인 적용을 위해 최적화된 CUDA 커널과 메모리 효율적인 구현을 제공합니다. 회전 구면에서 천수 방정식 시뮬레이션, 구면 이미지 분할, 구면 깊이 추정 등 세 가지 다양한 작업에서 이 메서드를 검증합니다. 모든 작업에서 구면 트랜스포머는 평면적 대응 방식보다 일관되게 우수한 성능을 보여 구면 영역에서 학습에 대한 기하학적 사전 정보의 이점을 강조합니다.
