본 논문은 텍스트-비디오 생성(T2V)을 위해 자동회귀 언어 모델과 확산 모델의 장점을 결합한 하이브리드 프레임워크인 LanDiff를 제안합니다. LanDiff는 3D 시각적 특징을 압축하는 의미 토크나이저, 고차원 의미 관계를 생성하는 언어 모델, 그리고 고품질 비디오를 생성하는 스트리밍 확산 모델의 세 가지 핵심 혁신을 통해 조잡한 것에서 세밀한 것으로 생성하는 과정을 거칩니다. 5B 매개변수를 가진 LanDiff는 VBench T2V 벤치마크에서 85.43점을 달성하여 Hunyuan Video(13B) 및 Sora, Kling, Hailuo와 같은 다른 상용 모델을 능가하는 성능을 보였으며, 특히 긴 비디오 생성에서도 최첨단 성능을 달성했습니다.
