LrcSSM은 기존 선형 상태 공간 계층과 동일한 속도로 긴 시퀀스를 처리하는 비선형 순환 모델입니다. 상태 전이 행렬을 대각 행렬로 제한하고 매 단계마다 학습함으로써, 단일 prefix-scan을 사용하여 전체 시퀀스를 병렬로 계산할 수 있습니다. 이를 통해 입력 시퀀스 길이 T와 상태 차원 D에 대해 $\mathcal{O}(TD)$의 시간 및 메모리 복잡도와 $\mathcal{O}(\log T)$의 순차적 깊이를 달성합니다. 또한, Liquid-S4나 Mamba와 같은 다른 입력 변화 시스템에서는 제공하지 않는 형식적인 기울기 안정성 보장을 제공합니다. 네트워크 깊이 L에 대해 순전파 및 역전파 비용이 $\Theta(TDL)$ FLOPs이고, 낮은 순차적 깊이와 $\Theta(DL)$의 매개변수 수를 가지므로, Mamba에서 최근 관찰된 계산 최적화 스케일링 법칙 체제 ($\beta \approx 0.42$)를 따르며, 동일한 계산량에서 이차적 어텐션 Transformer보다 성능이 우수하고 FFT 기반 긴 합성곱의 메모리 오버헤드를 피합니다. 일련의 장기 예측 작업에서 LrcSSM은 LRU, S5 및 Mamba보다 성능이 뛰어납니다.
