본 논문은 대규모 모델에서의 어텐션 계산의 시간 복잡도 문제를 해결하기 위해, 어텐션 맵의 스파스성을 활용하는 보편적인 스파스 어텐션 메커니즘인 SpargeAttn을 제안합니다. SpargeAttn은 두 단계의 온라인 필터를 사용하여 불필요한 행렬 곱셈을 건너뜁니다. 첫 번째 단계에서는 어텐션 맵을 빠르고 정확하게 예측하여 일부 계산을 생략하고, 두 번째 단계에서는 추가적인 오버헤드 없이 소프트맥스 함수를 고려하여 추가적인 계산 생략을 수행합니다. 다양한 모델(언어, 이미지, 비디오 생성 모델)에서의 실험 결과, SpargeAttn은 성능 저하 없이 계산 속도를 크게 향상시키는 것을 보여줍니다. 소스 코드는 GitHub에서 공개됩니다.
