[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

MAGI-1: Autoregressive Video Generation at Scale

Created by
  • Haebom

저자

Sand. ai, Hansi Teng, Hongyu Jia, Lei Sun, Lingzhi Li, Maolin Li, Mingqiu Tang, Shuai Han, Tianning Zhang, W. Q. Zhang, Weifeng Luo, Xiaoyang Kang, Yuchen Sun, Yue Cao, Yunpeng Huang, Yutong Lin, Yuxin Fang, Zewei Tao, Zheng Zhang, Zhongshu Wang, Zixun Liu, Dai Shi, Guoli Su, Hanwen Sun, Hong Pan, Jie Wang, Jiexin Sheng, Min Cui, Min Hu, Ming Yan, Shucheng Yin, Siran Zhang, Tingting Liu, Xianping Yin, Xiaoyu Yang, Xin Song, Xuan Hu, Yankai Zhang, Yuqiao Li

개요

MAGI-1은 고정 길이 연속 프레임으로 정의된 비디오 청크 시퀀스를 자기회귀적으로 예측하여 비디오를 생성하는 세계 모델입니다. 시간에 따라 단조 증가하는 청크별 노이즈를 제거하도록 훈련된 MAGI-1은 인과적 시간 모델링을 가능하게 하고 스트리밍 생성을 자연스럽게 지원합니다. 텍스트 지시에 따라 이미지-비디오(I2V) 작업에서 강력한 성능을 달성하며, 여러 알고리즘 혁신과 전용 인프라 스택을 통해 높은 시간적 일관성과 확장성을 제공합니다. 청크 단위 프롬프팅을 통해 제어 가능한 생성을 용이하게 하며, 비디오 길이에 관계없이 일정한 최대 추론 비용을 유지함으로써 실시간 메모리 효율적인 배포를 지원합니다. 가장 큰 MAGI-1 변형은 240억 개의 매개변수로 구성되며 최대 400만 토큰의 컨텍스트 길이를 지원하여 본 접근 방식의 확장성과 강건성을 보여줍니다. 코드와 모델은 https://github.com/SandAI-org/MAGI-1https://github.com/SandAI-org/MagiAttention에서 사용할 수 있으며, 제품은 https://sand.ai에서 접근할 수 있습니다.

시사점, 한계점

시사점:
자기회귀적 비디오 생성을 통한 높은 시간적 일관성과 확장성 달성.
청크 단위 프롬프팅을 통한 제어 가능한 비디오 생성 지원.
실시간, 메모리 효율적인 배포 가능.
240억 매개변수의 대규모 모델 및 400만 토큰의 긴 컨텍스트 길이 지원.
텍스트 기반 이미지-비디오 생성에서 강력한 성능.
한계점:
논문에서 명시적으로 언급된 한계점은 없음. 추가적인 실험 및 비교 연구를 통해 한계점을 규명할 필요가 있음.
막대한 계산 자원 필요성.
특정 하드웨어 및 인프라에 대한 의존성.
👍