Lumos-1: On Autoregressive Video Generation from a Unified Model Perspective
Created by
Haebom
저자
Hangjie Yuan, Weihua Chen, Jun Cen, Hu Yu, Jingyun Liang, Shuning Chang, Zhihui Lin, Tao Feng, Pengwei Liu, Jiazheng Xing, Hao Luo, Jiasheng Tang, Fan Wang, Yi Yang
개요
본 논문에서는 기존의 자기회귀 비디오 생성 모델들의 한계점(표준 LLM 아키텍처에서 벗어남, 부피가 큰 외부 텍스트 인코더 의존, 과도한 지연 시간)을 극복하기 위해, 최소한의 아키텍처 수정으로 LLM 아키텍처를 유지하는 자기회귀 비디오 생성 모델 Lumos-1을 제시합니다. Lumos-1은 3D RoPE의 효율성을 확인하고, 그 불균형적인 주파수 스펙트럼 범위 문제를 진단하여 개선된 MM-RoPE를 제안합니다. MM-RoPE는 기존 텍스트 RoPE를 유지하면서 다중 모달 시공간 데이터를 모델링하기 위한 포괄적인 주파수 스펙트럼과 스케일링된 3D 위치를 제공합니다. 또한, Lumos-1은 프레임 내 양방향성과 프레임 간 시간적 인과 관계를 따르는 토큰 의존성 전략을 사용하며, 공간 정보 중복으로 인한 프레임별 손실 불균형 문제를 해결하기 위해 Autoregressive Discrete Diffusion Forcing (AR-DF)를 제안합니다. AR-DF는 훈련 중에 시간적 튜브 마스킹을 도입하고, 품질 저하를 방지하기 위해 호환 가능한 추론 시 마스킹 정책을 사용합니다. 메모리 효율적인 훈련 기법을 통해 48개의 GPU만으로 Lumos-1을 사전 훈련하여 GenEval, VBench-I2V, VBench-T2V에서 EMU3, COSMOS-Video2World, OpenSoraPlan과 비교 가능한 성능을 달성했습니다. 코드와 모델은 https://github.com/alibaba-damo-academy/Lumos 에서 이용 가능합니다.
