Radial Attention: $O(n\log n)$ Sparse Attention with Energy Decay for Long Video Generation
Created by
Haebom
저자
Xingyang Li, Muyang Li, Tianle Cai, Haocheng Xi, Shuo Yang, Yujun Lin, Lvmin Zhang, Songlin Yang, Jinbo Hu, Kelly Peng, Maneesh Agrawala, Ion Stoica, Kurt Keutzer, Song Han
개요
본 논문은 비디오 확산 모델에서의 계산 비용 증가 문제를 해결하기 위해, 시공간 에너지 감쇠 현상을 활용한 새로운 스케일러블한 스파스 어텐션 메커니즘인 Radial Attention을 제안합니다. Radial Attention은 토큰 간의 공간 및 시간적 거리가 증가함에 따라 어텐션 점수가 감소하는 현상을 이용하여, 계산 복잡도를 O(n log n)으로 줄입니다. 이는 기존의 O(n²) 복잡도를 갖는 밀집 어텐션보다 훨씬 효율적이며, 선형 어텐션보다 표현력이 뛰어납니다. Radial Attention은 공간적으로 가까운 토큰에만 어텐션을 집중하도록 설계되었으며, 시간적 거리가 멀어질수록 어텐션 윈도우 크기가 감소합니다. 또한, 사전 훈련된 비디오 확산 모델의 생성 길이를 LoRA 기반 미세 조정을 통해 효율적으로 확장할 수 있도록 합니다. 실험 결과, Radial Attention은 Wan2.1-14B, HunyuanVideo, Mochi 1 등 다양한 모델에서 비디오 품질을 유지하면서 최대 1.9배의 속도 향상을 달성했습니다. 최소한의 미세 조정만으로 최대 4배 더 긴 비디오 생성을 가능하게 하며, 직접 미세 조정에 비해 훈련 비용을 최대 4.4배까지 줄이고, 밀집 어텐션 추론에 비해 추론 속도를 최대 3.7배까지 높였습니다.
시사점, 한계점
•
시사점:
◦
비디오 확산 모델의 계산 비용을 효과적으로 줄이는 새로운 스파스 어텐션 메커니즘인 Radial Attention 제시.
