본 논문은 최첨단 Vision Transformers (ViTs)가 90도 회전 및 반사와 같은 자연 기하학적 대칭성을 활용하도록 설계되지 않은 이유에 주목하며, 효율적인 구현의 부재가 원인이라고 주장한다. 이를 위해, 옥틱 그룹 등변성을 활용하여 이러한 대칭성을 포착하는 Octic Vision Transformers (octic ViTs)를 소개한다. 기존의 등변성 모델이 계산 비용을 증가시키는 것과 대조적으로, 옥틱 선형 레이어는 일반 선형 레이어에 비해 5.33배의 FLOPs 감소와 최대 8배의 메모리 감소를 달성한다. 옥틱 블록으로 구축된 두 가지 새로운 ViT 계열을 연구하며, ImageNet-1K에서 지도 학습(DeiT-III)과 비지도 학습(DINOv2)을 통해 옥틱 ViTs를 학습시켜 기준 정확도와 상당한 효율성 향상을 동시에 달성했다.
