본 논문은 장문맥락 모델링의 요구 증가에 따라 계산 복잡도가 문제가 되는 표준 self-attention 메커니즘의 한계를 극복하기 위해, 학습 가능한 동적 마스크 희소 어텐션 메커니즘인 Dynamic Mask Attention (DMA)을 제안합니다. DMA는 내용 기반 및 위치 기반 희소성을 활용하여 중요 정보에 집중하고 불필요한 계산을 건너뜁니다. 내용 기반 희소 마스크는 value representation에서 동적으로 생성되며, 위치 기반 희소 어텐션 계산은 불필요한 영역을 효과적으로 건너뜁니다. 실험 결과, DMA는 Chinchilla Scaling Law 설정 하에서 perplexity 측면에서 기존의 multi-head attention, sliding window attention, multi-head latent attention, native sparse attention보다 우수한 성능을 보였으며, 다중 질의 연관 재현 작업에서도 효율성과 성능 면에서 우월함을 입증했습니다. 특히 17억 파라미터 모델 평가에서 표준 벤치마크 성능과 needle-in-a-haystack 작업 모두에서 multi-head attention을 능가하는 결과를 보였습니다.
