본 논문은 Transformer 기반 대규모 언어 모델(LLM)의 긴 시퀀스에 대한 추론이 자기 주의 메커니즘의 이차 복잡도로 인해 비용이 많이 들고 느리다는 문제를 해결하기 위해 Star Attention을 제안합니다. Star Attention은 여러 호스트에 걸쳐 어텐션을 분할하면서 통신 오버헤드를 최소화하는 2단계 블록 희소 근사치입니다. 첫 번째 단계에서는 호스트 간에 병렬로 블록 단위 로컬 어텐션을 사용하여 컨텍스트를 처리하고, 두 번째 단계에서는 쿼리 및 응답 토큰이 시퀀스 전역 어텐션을 통해 이전에 캐시된 모든 토큰에 어텐션을 둡니다. Star Attention은 전역 어텐션으로 훈련된 대부분의 Transformer 기반 LLM과 원활하게 통합되어 메모리 요구 사항과 추론 시간을 최대 11배까지 줄이면서 97-100%의 정확도를 유지합니다.
