HISA: Efficient Hierarchical Indexing for Fine-Grained Sparse Attention

작성자

Haebom

카테고리

Empty

저자

Yufei Xu, Fanxu Meng, Fan Jiang, Yuxuan Wang, Ruijie Zhou, Zhaohui Wang, Jiexi Wu, Zhixin Pan, Xiaojuan Tang, Wenjie Pei, Tongxuan Liu, Di Yin, Xing Sun, Muhan Zhang

💡 개요

본 논문은 기존 토큰 수준 희소 어텐션 메커니즘의 인덱서가 긴 컨텍스트 길이에서 병목 현상을 일으키는 문제를 해결하기 위해 HISA(Hierarchical Indexed Sparse Attention)를 제안한다. HISA는 블록 레벨의 계층적 필터링과 토큰 레벨의 정제 단계를 거쳐 검색 경로를 재구성하여 효율성을 높인다. 이를 통해 기존 DSA와 동일한 희소 패턴을 유지하면서도 64K 컨텍스트 길이에서 최대 3배의 속도 향상을 달성한다.

🔑 시사점 및 한계

•

HISA는 긴 컨텍스트 길이에 대한 기존 희소 어텐션의 인덱서 병목 현상을 효과적으로 완화한다.

•

별도의 추가 학습 없이 기존 모델에 플러그 앤 플레이 방식으로 적용 가능하며, 우수한 품질을 유지하면서 성능을 크게 향상시킨다.

•

제안된 방법론은 블록 희소 기반의 기존 방식보다 우수한 성능을 보였다.

PDF 보기

Made with Slashpage