본 논문은 고해상도 이미지 처리 시 발생하는 전역 self-attention의 계산 및 메모리 비용 문제를 해결하기 위해, Hilbert 곡선을 기반으로 2D local attention의 효율성을 향상시키는 새로운 방법을 제안한다. 이미지 토큰을 Hilbert 곡선을 따라 재정렬하고, 이를 통해 window 및 neighborhood를 구성하여 block-sparse 커널과의 결합을 통해 2D local attention의 효율성을 높인다. 제안된 Hilbert Window Attention과 Hilbert Slide Attention은 각각 window attention과 slide attention을 최대 4배 및 18배 가속화하며, Hilbert Window Transformer 및 Hilbert Neighborhood Transformer로 구현하여 실용성을 입증했다.
