확산 변환기의 추론 비용이 크다는 문제점을 해결하기 위해, 본 논문은 특징 재사용을 통한 특징 캐싱 기법을 제안한다. 기존 특징 캐싱의 한계를 극복하기 위해, 주파수 분석을 통해 저주파수 성분은 유사성이 높지만 연속성이 낮고, 고주파수 성분은 연속성이 높지만 유사성이 낮다는 것을 발견했다. 이러한 관찰을 바탕으로, 본 논문은 유사성을 기반으로 저주파수 성분을 재사용하고, 2차 Hermite 보간법을 사용하여 변동성이 큰 고주파수 성분을 예측하는 Frequency-aware Caching (FreqCa)를 제안한다. 또한, 모든 레이어의 특징 대신 누적 잔차 특징(CRF)을 캐싱하여 메모리 사용량을 99% 줄였다. FLUX.1-dev, FLUX.1-Kontext-dev, Qwen-Image, Qwen-Image-Edit에 대한 실험을 통해 생성 및 편집 모두에서 효과를 입증했다.
시사점, 한계점
•
시사점:
◦
주파수 분석을 통해 확산 모델의 특징 동역학을 이해하고, 이를 기반으로 새로운 캐싱 기법을 제안하여 성능을 향상시켰다.
◦
메모리 사용량을 줄이기 위해 누적 잔차 특징(CRF) 캐싱을 도입하여 효율성을 높였다.
◦
다양한 데이터셋에 대한 실험을 통해 제안된 방법의 효과를 입증했다.
•
한계점:
◦
구체적인 주파수 분석 방법 및 FreqCa의 세부 구현 사항에 대한 설명이 부족할 수 있다 (논문 요약에 한정).
