LrcSSM은 기존 선형 상태 공간 계층의 속도로 긴 시퀀스를 처리하는 비선형 순환 모델입니다. 상태 전이 행렬을 대각 행렬로 제한하고 매 단계마다 학습함으로써, 단일 prefix-scan을 이용하여 전체 시퀀스를 병렬로 처리할 수 있습니다. 이를 통해 입력 시퀀스 길이 T와 상태 차원 D에 대해 $\mathcal{O}(TD)$의 시간 및 메모리 복잡도와 $\mathcal{O}(\log T)$의 순차적 깊이를 달성합니다. 또한, Liquid-S4나 Mamba와 같은 다른 입력 변화 시스템과 달리, 형식적인 기울기 안정성 보장을 제공합니다. 네트워크 깊이 L에 대해, 순전파 및 역전파 비용이 $\Theta(TDL)$ FLOPs이고, 낮은 순차적 깊이와 $\Theta(DL)$의 매개변수 개수를 가지므로, Mamba에서 최근 관찰된 계산 최적 스케일링 법칙 체제 ($\beta \approx 0.42$)를 따릅니다. 결과적으로, 동일한 계산량에서 quadratic-attention Transformers를 능가하며 FFT 기반 긴 합성곱의 메모리 오버헤드를 피합니다. 다양한 장기 예측 작업에서 LRU, S5, Mamba보다 성능이 우수함을 보여줍니다.
