확산 기반 언어 모델은 오토 회귀 생성의 대안으로 등장했지만, Transformer 백본 사용으로 인해 이차적인 어텐션과 KV 캐시 오버헤드로 인해 추론 효율성이 제한된다. 본 연구에서는 양방향 Mamba 백본을 기반으로 확산 목표를 선형 시간 시퀀스 모델링과 결합한 마스크된 확산 언어 모델인 DiffuApriel을 소개한다. DiffuApriel은 13억 모델로 긴 시퀀스에 대해 Transformer 기반 확산 모델과 동일한 성능을 보이면서 최대 4.4배 더 높은 추론 처리량을 달성한다. 또한, 어텐션과 Mamba 레이어를 교대로 사용하는 하이브리드 변형 DiffuApriel-H를 제안하여 글로벌 및 로컬 컨텍스트 모델링의 균형을 유지하면서 최대 2.6배의 처리량 향상을 제공한다. 본 결과는 양방향 상태 공간 아키텍처가 마스크된 확산 LM에서 강력한 제너레이터 역할을 하며, 더 빠르고 메모리 효율적인 텍스트 생성을 위한 실용적이고 확장 가능한 기반을 제공함을 보여준다.
