Diffusion Transformers (DiT) 기반 이미지 및 비디오 생성 모델의 계산 비용 절감을 위해 제안된 토큰별 특징 캐싱 방식의 문제점을 제기하고, 듀얼 특징 캐싱(DuCa)이라는 새로운 방식을 제안합니다. 기존 토큰별 특징 캐싱 방식은 중요한 토큰을 매번 계산하도록 설계되었으나, 본 논문은 이 방식이 불필요하며 오히려 무작위 토큰 선택보다 성능이 떨어질 수 있음을 실험적으로 보입니다. DuCa는 공격적 캐싱과 보수적 캐싱을 번갈아 수행하며, 무작위로 계산할 토큰을 선택하여 기존 방식보다 향상된 성능을 달성합니다.
시사점, 한계점
•
시사점:
◦
DiT 모델 가속화를 위한 기존 토큰별 특징 캐싱 방식의 효과에 대한 근본적인 의문을 제기하고, 그 한계를 실험적으로 입증했습니다.
◦
DuCa라는 새로운 특징 캐싱 방식을 제안하여 기존 방식의 성능을 개선하고, 모델의 계산 효율성을 향상시켰습니다.
◦
무작위 토큰 선택 기반의 캐싱 전략이 기존 방식보다 우수한 성능을 보일 수 있음을 밝혀, 특징 선택 방식에 대한 새로운 관점을 제시했습니다.
•
한계점:
◦
제안된 DuCa 방식의 구체적인 구현 방식과 하이퍼파라미터 설정에 대한 정보가 충분히 제공되지 않았을 수 있습니다.
◦
DuCa가 모든 DiT 모델 및 데이터셋에 대해 일관된 성능 향상을 보이는지 추가적인 실험이 필요할 수 있습니다.
◦
DuCa의 성능 향상이 이루어지는 근본적인 이유에 대한 심층적인 분석이 더 필요할 수 있습니다.
