DC-DiT: Adaptive Compute and Elastic Inference for Visual Generation via Dynamic Chunking

Created by

Haebom

저자

Akash Haridas, Utkarsh Saxena, Parsa Ashrafi Fashi, Mehdi Rezagholizadeh, Vikram Appia, Emad Barsoum

💡 개요

본 논문은 기존 확산 모델의 고정된 패치 토큰화 방식의 비효율성을 해결하기 위해 동적 청킹(Dynamic Chunking)을 도입한 DC-DiT를 제안합니다. DC-DiT는 학습 가능한 인코더-라우터-디코더 구조를 통해 입력 이미지를 동적으로 압축하여 토큰 시퀀스를 줄이며, 이를 통해 예측 가능한 영역이나 초기 스텝에는 적은 토큰을, 상세 영역이나 후기 스텝에는 더 많은 토큰을 할당합니다. 결과적으로, DC-DiT는 추론 시 계산량을 최대 36.8% 줄이고 FID 점수를 최대 37.8% 향상시키면서도 품질-계산량 간의 우수한 절충안을 제시합니다.

🔑 시사점 및 한계

•

효율적인 시각 생성: 동적 토큰 할당을 통해 계산 효율성을 크게 높이고 생성 품질을 향상시킬 수 있음을 보여줍니다.

•

유연한 추론: 단일 모델로 다양한 계산 예산에 맞춰 유연한 추론이 가능하며, 품질-계산량 간의 부드러운 절충안을 제공합니다.

•

재활용 및 확장성: 사전 학습된 모델로부터 쉽게 업그레이드할 수 있으며, 다른 동적 계산 접근 방식과도 호환됩니다.

•

향후 과제: 본 연구에서 제안된 학습 가능한 라우터의 중요도 순서 결정 메커니즘이 더 복잡한 데이터셋이나 생성 작업에서 얼마나 효과적일지에 대한 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage