확산 기반 언어 모델은 오토 회귀 생성의 대안으로 부상했지만, Transformer 백본에 의존하여 추론 효율성이 제한된다. 본 연구에서는 양방향 Mamba 백본을 기반으로 한 마스크된 확산 언어 모델인 DiffuApriel을 소개한다. DiffuApriel은 확산 목표와 선형 시간 시퀀스 모델링을 결합한다. DiffuApriel은 Transformer 기반 확산 모델의 성능에 필적하며 13억 모델로 긴 시퀀스에 대해 최대 4.4배 더 높은 추론 처리량을 달성한다. 또한, 주의 및 mamba 레이어를 인터리빙하는 하이브리드 변형인 DiffuApriel-H를 제안하여 최대 2.6배의 처리량 향상과 균형 잡힌 글로벌 및 로컬 컨텍스트 모델링을 제공한다. 결과적으로 양방향 상태 공간 아키텍처는 마스크된 확산 LM에서 강력한 노이즈 제거기로 작용하며, 더 빠르고 메모리 효율적인 텍스트 생성을 위한 실용적이고 확장 가능한 기반을 제공한다.
