본 논문은 비디오 생성에서 확산 모델의 3D 어텐션 연산에 대한 높은 계산 비용 문제를 해결하기 위해, 학습이 필요 없는 새로운 희소 어텐션 방법인 RainFusion을 제안합니다. RainFusion은 시각 데이터의 고유한 희소성을 활용하여 어텐션 계산을 가속화하면서 비디오 품질을 유지합니다. 특히, 공간 패턴, 시간적 패턴, 질감 패턴의 세 가지 희소 패턴을 식별하고, ARM(Adaptive Recognition Module)을 사용하여 각 어텐션 헤드에 대한 희소 패턴을 추론 시에 거의 무시할 수 있는 오버헤드(약 0.2%)로 결정합니다. RainFusion은 플러그 앤 플레이 방식으로 기존 최첨단 3D 어텐션 비디오 생성 모델에 통합될 수 있으며, 추가적인 학습이나 보정이 필요하지 않습니다. HunyuanVideo, OpenSoraPlan-1.2, CogVideoX-5B 등의 모델에서 평가하여 광범위한 적용 가능성과 효과를 입증하였습니다. 실험 결과, RainFusion은 어텐션 계산 속도를 2배 이상 향상시키면서 비디오 품질을 유지하고, VBench 점수에는 최소한의 영향(-0.2%)만 미쳤습니다.
