본 논문은 긴 문맥 추론에서 전처리 단계의 속도를 높이기 위해 주의 메커니즘의 스파스성을 활용하는 새로운 스파스 어텐션 기법을 제안합니다. 기존 방법들이 미리 정의된 패턴이나 부정확한 추정에 의존하여 어텐션 행동을 근사하는 것과 달리, 본 논문은 헤드 간 유사하면서도 정확한 어텐션 패턴을 공유함으로써 어텐션의 동적 행동을 더욱 현실적으로 포착하는 데 중점을 둡니다. 이는 어텐션 패턴이 헤드 간 강한 유사성을 보이며, 이러한 유사성이 다양한 입력에 걸쳐 일관되게 유지된다는 두 가지 관찰에 기반합니다. 소수의 헤드에 대해서만 전체 어텐션 계산을 수행하고 계산된 정확한 패턴을 다른 어텐션 헤드에 전략적으로 공유함으로써 실제 패턴을 효과적으로 포착합니다. 실험 결과, 제안된 방법은 최첨단 방법들에 비해 동등하거나 우수한 속도 향상을 달성하면서 최고의 정확도를 제공함을 보여줍니다.
