본 논문은 대규모 모델에서 계산량이 많은 어텐션 메커니즘의 효율성을 높이기 위해, 어텐션 맵의 희소성을 활용하는 새로운 방법인 SpargeAttn을 제안합니다. SpargeAttn은 두 단계의 온라인 필터를 사용하여 어텐션 맵의 많은 값이 0에 가까운 점을 이용, 불필요한 행렬 곱셈을 생략합니다. 첫 번째 단계에서는 어텐션 맵을 빠르고 정확하게 예측하여 계산을 건너뛰고, 두 번째 단계에서는 추가적인 오버헤드 없이 소프트맥스 함수를 고려하여 추가적인 계산 생략을 수행합니다. 다양한 언어, 이미지, 비디오 생성 모델에서 실험을 통해 SpargeAttn이 성능 저하 없이 속도 향상을 가져온다는 것을 보여줍니다. 소스 코드는 공개되어 있습니다.
