선형 시퀀스 모델링 방법은 훈련 및 추론의 복잡성을 줄여 효율성을 높입니다. 하지만, 이러한 방법은 입력 시퀀스 전체를 단일 고정 크기 메모리 상태로 압축하여, 기억 관련 작업에서 성능 저하를 보입니다. 이를 해결하기 위해, MoM(Mixture-of-Memories) 아키텍처를 제시합니다. MoM은 여러 개의 독립적인 메모리 상태를 사용하며, 라우터 네트워크가 입력 토큰을 특정 메모리 상태로 보냅니다. 이 접근 방식은 메모리 간섭을 최소화하면서 전체 메모리 용량을 크게 향상시킵니다. MoM은 다양한 선형 모델에서 다양한 메모리 업데이트 메커니즘과 원활하게 결합될 수 있는 일반적인 프레임워크입니다. MoM은 기억 관련 작업에서 뛰어난 성능을 보이며, 기존 선형 시퀀스 모델링 기술을 능가합니다. 여러 메모리 상태를 포함하지만, 각 메모리 상태의 계산 복잡성은 선형으로 유지되어, 훈련 시 선형 복잡성을 유지하고 추론 시에는 상수 복잡성을 유지합니다. 실험 결과, MoM은 다운스트림 언어 작업, 특히 기억 관련 작업에서 현재의 선형 시퀀스 모델보다 우수한 성능을 보이며, Transformer 모델과 유사한 성능을 달성했습니다.
