확산 모델은 고차원 데이터 생성에 탁월하지만 자기 지도 학습 방법에 비해 훈련 효율성과 표현 품질이 떨어집니다. 본 논문은 이러한 문제의 주요 원인이 훈련 중 고품질의 의미 풍부한 표현의 활용 부족에 있다는 것을 밝힙니다. 특히 초기 레이어에서 의미 및 구조 패턴 학습이 발생하는 표현 처리 영역을 분석하여, 이 영역의 학습 부족이 수렴 속도를 늦추는 것을 발견했습니다. 이를 해결하기 위해, 사전 훈련된 고품질 표현으로 확산 모델의 초기 레이어를 초기화하는 플러그 앤 플레이 프레임워크인 Embedded Representation Warmup (ERW)을 제안합니다. ERW는 처음부터 표현을 학습하는 부담을 줄여 수렴 속도를 높이고 성능을 향상시킵니다. 이론적 분석을 통해 ERW의 효과는 특정 신경망 레이어(표현 처리 영역)에 정확하게 통합되는 데 의존함을 보여줍니다. 실험적으로 ERW는 기존 최첨단 방법인 REPA에 비해 훈련 속도를 40배 향상시킵니다.
