Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Layer- and Timestep-Adaptive Differentiable Token Compression Ratios for Efficient Diffusion Transformers

Created by
  • Haebom
Category
Empty

저자

Haoran You, Connelly Barnes, Yuqian Zhou, Yan Kang, Zhenbang Du, Wei Zhou, Lingzhi Zhang, Yotam Nitzan, Xiaoyang Liu, Zhe Lin, Eli Shechtman, Sohrab Amirghodsi, Yingyan Celine Lin

개요

본 논문은 확산 변환기(DiT)의 높은 지연 시간과 메모리 비효율성 문제를 해결하기 위해, 이미지 영역별 계산량을 동적으로 조절하는 DiffCR 프레임워크를 제안합니다. DiffCR은 토큰, 계층, 시간 단계별로 차별화 가능한 압축 비율을 학습하여 중요하지 않은 토큰은 계산을 건너뛰고, 불필요한 계층이나 시간 단계의 계산량을 줄임으로써 효율성을 높입니다. 구체적으로, 토큰 중요도 점수를 예측하는 라우터를 각 계층에 통합하고, 계층 및 시간 단계별로 가변적인 압축 비율을 학습하여 이미지 생성 품질과 효율성 간의 균형을 개선합니다. 텍스트-이미지 생성 및 이미지 복원 작업에 대한 실험 결과, DiffCR이 기존 방법보다 우수한 성능을 보임을 확인했습니다.

시사점, 한계점

•
시사점:
◦
DiT의 효율성 문제 해결에 대한 새로운 접근 방식 제시
◦
토큰, 계층, 시간 단계별 동적 계산량 조절을 통한 효율성 향상
◦
이미지 생성 품질과 효율성 간의 우수한 절충안 제시
◦
자원 제약 환경에서 DiT의 배포 가능성 확대
•
한계점:
◦
제안된 DiffCR의 일반화 성능에 대한 추가적인 연구 필요
◦
다양한 아키텍처 및 데이터셋에 대한 실험 결과 확장 필요
◦
압축 비율 학습 과정의 복잡성 및 계산 비용에 대한 분석 필요
👍
Made with Slashpage