Diffusion Transformer는 비디오 생성을 위해 뛰어난 품질을 달성하지만, 2차적 어텐션 복잡성으로 인해 지연 시간이 길어진다. 기존 가속화 방법들은 동적 희소 어텐션 패턴 추정 시 계산 오버헤드가 크고, 정적 희소 패턴은 고정되어 있고 종종 비최적이라는 근본적인 trade-off에 직면한다. 본 연구는 diffusion 어텐션의 중요한 구조적 속성, 즉, 희소 패턴이 denoising step 간에 강한 시간적 일관성을 보인다는 것을 발견했다. 이를 바탕으로, LiteAttention을 제안하며, 시간적 일관성을 활용하여 denoising 시퀀스에서 계산을 건너뛸 수 있게 한다. LiteAttention은 불필요한 타일을 조기에 표시하고 skip 결정을 전파함으로써 반복적인 프로파일링 오버헤드 없이 중복된 어텐션 계산을 제거하여 동적 방법의 적응성과 정적 방법의 효율성을 결합한다. FlashAttention 위에 최적화된 LiteAttention 커널을 구현하여, 품질 저하 없이 비디오 diffusion 모델에서 상당한 속도 향상을 입증했다.
