Lee Xiong, Maksim Tkachenko, Johanes Effendi, Ting Cai
개요
Factorization Memory는 짧은 문맥 언어 모델링에서 Transformer 모델과 비슷한 성능을 보이며 긴 문맥 시나리오에서 더 나은 일반화를 보이는 효율적인 순환 신경망(RNN) 아키텍처입니다. Mamba-2를 기반으로 하여 훈련 중 병렬 계산을 활용하고 추론 시 일정한 계산 및 메모리 복잡성을 유지합니다. 또한, 희소 메모리 활성화를 통해 효율성과 표현 능력을 최적화합니다.
