본 논문은 대규모 모델에서의 어텐션 계산의 이차 시간 복잡도 문제를 해결하기 위해, 어텐션 맵의 스파스성을 활용한 보편적인 희소 어텐션 메커니즘인 SpargeAttn을 제안합니다. SpargeAttn은 두 단계의 온라인 필터링 기법을 사용합니다. 첫 번째 단계에서는 어텐션 맵을 빠르고 정확하게 예측하여 불필요한 행렬 곱셈을 생략하고, 두 번째 단계에서는 소프트맥스 함수를 고려한 온라인 필터링을 통해 추가적인 오버헤드 없이 행렬 곱셈을 더욱 생략합니다. 다양한 언어, 이미지, 비디오 생성 모델에서의 실험 결과, SpargeAttn은 성능 저하 없이 계산 속도를 크게 향상시킴을 보여줍니다. 소스 코드는 GitHub에서 공개됩니다.
