본 논문은 계산 효율성과 모델 표현력 간의 균형을 맞추는 데 어려움이 있는 기존 상태 공간 모델의 한계를 극복하기 위해 Flash STU 아키텍처를 제안합니다. Flash STU는 스펙트럼 상태 공간 모델 레이어와 슬라이딩 윈도우 어텐션을 교차적으로 사용하는 하이브리드 모델로, 수십억 개의 파라미터를 사용하는 언어 모델링에서도 거의 선형 시간 복잡도를 유지하며 확장성을 확보합니다. 선형 동역학 시스템, 로보틱스 제어, 언어 모델링 등 다양한 시퀀스 예측 작업에서 Transformer 및 S4, Mamba-2와 같은 다른 주요 상태 공간 모델보다 우수한 성능을 보입니다.
