Expert Race: A Flexible Routing Strategy for Scaling Diffusion Transformer with Mixture of Experts
Created by
Haebom
Category
Empty
저자
Yike Yuan, Ziyu Wang, Zihao Huang, Defa Zhu, Xun Zhou, Jingyi Yu, Qiyang Min
개요
본 논문은 확산 확률 모델(Diffusion Model)에 Mixture of Experts (MoE) 방법을 통합하여 확장성과 성능을 향상시킨 새로운 모델인 Race-DiT를 제시합니다. Race-DiT는 유연한 라우팅 전략인 Expert Race를 통해 토큰과 전문가 간의 경쟁을 허용하여 중요한 토큰에 전문가를 동적으로 할당합니다. 또한, 얕은 레이어 학습의 어려움을 해결하기 위한 계층별 정규화와 모드 붕괴를 방지하기 위한 라우터 유사성 손실을 제안합니다. ImageNet 실험을 통해 제안된 방법의 효과성과 확장 가능성을 검증하였습니다.
시사점, 한계점
•
시사점:
◦
확산 트랜스포머의 확장성 및 성능 향상에 기여하는 새로운 MoE 모델 Race-DiT 제시
◦
Expert Race 라우팅 전략을 통해 효율적인 전문가 할당 및 자원 활용
◦
계층별 정규화와 라우터 유사성 손실을 통한 모델 안정성 및 성능 향상
◦
ImageNet 실험을 통한 우수한 성능 검증 및 확장 가능성 제시
•
한계점:
◦
제시된 모델의 실제 확장성은 대규모 데이터셋 및 하드웨어 환경에서 추가적인 실험을 통해 검증되어야 함.
