본 논문은 비디오 생성을 위한 확산 모델에서 3D 어텐션 연산의 높은 계산 비용 문제를 해결하기 위해, 학습이 필요 없는 새로운 희소 어텐션 방법인 RainFusion을 제안합니다. RainFusion은 시각 데이터의 고유한 희소성을 활용하여 어텐션 계산을 가속화하면서 비디오 품질을 유지합니다. 특히, 공간 패턴, 시간적 패턴, 질감 패턴의 세 가지 희소 패턴을 식별하고, ARM(Adaptive Recognition Module)을 통해 추론 시 무시할 만한 오버헤드(약 0.2%)로 각 어텐션 헤드에 대한 희소 패턴을 온라인으로 결정합니다. RainFusion은 플러그 앤 플레이 방식으로 기존 최첨단 3D 어텐션 비디오 생성 모델에 통합될 수 있으며, 추가적인 학습이나 보정이 필요하지 않습니다. HunyuanVideo, OpenSoraPlan-1.2, CogVideoX-5B 등의 모델에서 평가한 결과, 어텐션 계산 속도를 2배 이상 향상시키면서 비디오 품질은 거의 유지하는 것으로 나타났습니다 (VBench 점수는 -0.2% 감소).
