Foresight: Adaptive Layer Reuse for Accelerated and High-Quality Text-to-Video Generation
Created by
Haebom
저자
Muhammad Adnan, Nithesh Kurella, Akhil Arunkumar, Prashant J. Nair
개요
확산 트랜스포머(DiT)는 텍스트-이미지, 텍스트-비디오 생성 및 편집에서 최첨단 결과를 달성하지만, 큰 모델 크기와 여러 잡음 제거 단계에 걸친 공간-시간적 어텐션의 이차 비용으로 인해 비디오 생성이 계산적으로 비쌉니다. 정적 캐싱은 고정된 단계에서 특징을 재사용하여 이를 완화하지만, 생성 역학에 적응하지 못하여 속도와 품질 간의 최적이 아닌 절충안을 초래합니다. 본 논문에서는 모든 계층에서 단계 간 계산 중복을 줄이면서 기준 성능을 유지하는 적응형 계층 재사용 기술인 Foresight를 제안합니다. Foresight는 해상도 및 잡음 제거 일정과 같은 생성 매개변수에 적응하여 효율성을 최적화하기 위해 모든 계층에서 단계 간 DiT 블록 출력을 동적으로 식별하고 재사용합니다. OpenSora, Latte 및 CogVideoX에 적용된 Foresight는 비디오 품질을 유지하면서 최대 \latencyimprv의 종단 간 속도 향상을 달성합니다. Foresight의 소스 코드는 https://github.com/STAR-Laboratory/foresight에서 확인할 수 있습니다.
시사점, 한계점
•
시사점: 확산 트랜스포머 기반 비디오 생성 모델의 계산 비용을 효과적으로 줄이는 새로운 적응형 계층 재사용 기법인 Foresight를 제시합니다. OpenSora, Latte, CogVideoX 등 다양한 모델에서 속도 향상을 검증했습니다. 소스 코드 공개를 통해 재현성과 확장성을 높였습니다.
•
한계점: \latencyimprv 값이 구체적으로 제시되지 않아 속도 향상의 정도를 정확히 판단하기 어렵습니다. 다양한 비디오 생성 모델에 대한 일반화 성능 및 특정 하드웨어 환경에 대한 의존성에 대한 추가적인 분석이 필요합니다. Foresight의 적용으로 인한 메모리 사용량 변화에 대한 분석이 부족합니다.
