본 논문은 확산 모델의 추론 속도를 높이기 위한 새로운 가속화 기법을 제안합니다. 기존의 가속화 방법들이 캐싱 메커니즘을 통해 인접 단계 간의 U자형 유사성 패턴을 활용하지만 이론적 기반이 부족하고 단순한 계산 재사용에 의존하여 성능 저하를 초래하는 문제점을 지적합니다. 본 연구에서는 2차 Adams-Bashforth 방법을 통해 확산 모델의 잡음 제거 과정을 분석하여 인접 단계의 출력 간 선형 관계를 밝히고, 이를 통해 U자형 패턴의 이유를 설명합니다. 더 나아가, 고차 Adams-Bashforth 방법을 확장하여 기존의 캐싱 방식 대신 새로운 캐싱 기반 가속화 방법을 제안하며, 잘림 오차 상한이 O(h^k)임을 증명합니다 (h는 단계 크기). 다양한 이미지 및 비디오 확산 모델(HunyuanVideo 및 FLUX.1-dev 포함)과 여러 스케줄러에 대한 광범위한 검증을 통해 제안된 방법이 원래 성능 수준을 유지하면서 약 3배의 속도 향상을 달성함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
확산 모델의 추론 속도를 3배 가까이 향상시키는 새로운 가속화 기법을 제시합니다.
◦
2차 Adams-Bashforth 방법을 이용한 이론적 분석을 통해 기존 방법의 한계점을 극복하고, U자형 유사성 패턴의 원인을 설명합니다.
◦
고차 Adams-Bashforth 방법을 기반으로 하여 잘림 오차를 효과적으로 제어합니다.
◦
다양한 모델과 스케줄러에서 성능 향상을 검증하여 실용적인 실시간 솔루션을 제공합니다.
◦
생성 품질 저하 없이 속도 향상을 달성합니다.
•
한계점:
◦
제안된 방법의 성능 향상은 특정 모델과 스케줄러에 국한될 수 있습니다. 더욱 광범위한 실험이 필요합니다.
◦
고차 Adams-Bashforth 방법을 사용함으로써 계산 복잡도가 증가할 수 있습니다. 최적의 차수를 결정하는 추가 연구가 필요합니다.
◦
O(h^k)의 잘림 오차 상한은 이론적 결과이며, 실제 성능에 미치는 영향은 추가 분석이 필요합니다.
