Planned Diffusion
Created by
- Haebom
Category
Empty
저자
Daniel Israel, Tian Jin, Ellie Cheng, Guy Van den Broeck, Aditya Grover, Suvinay Subramanian, Michael Carbin
💡 개요
기존의 언어 모델은 순차적으로 토큰을 생성하여 속도에 한계가 있었으며, 병렬 생성이 가능한 확산 모델은 토큰 생성 순서를 결정하는 것이 어려워 품질과 속도 간의 트레이드오프가 존재했습니다. 본 논문은 "Planned Diffusion"이라는 새로운 시스템을 제안하여, 단일 모델이 스스로 디노이징 순서를 결정하도록 학습시킵니다. 이 모델은 먼저 응답을 의미론적으로 독립적인 청크로 분할하는 계획을 자율적으로 생성한 후, 이 계획에 따라 모든 청크를 병렬적으로 디노이징합니다.
🔑 시사점 및 한계
•
Planned Diffusion은 기존 자율 회귀 방식 대비 1.27배에서 1.81배의 속도 향상을 달성하면서도 품질 저하를 최소화하여, 병렬 생성 분야에서 새로운 파레토 최적선을 제시합니다.
•
모델의 파인튜닝 컴퓨팅 자원이 증가함에 따라 Planned Diffusion의 지시 따르기 품질은 지속적으로 향상되는 반면, 기존 자율 회귀 방식은 성능이 정체되는 경향을 보입니다.
•
구현된 런타임 설정을 통해 품질-지연 시간 트레이드오프를 사용자가 유연하게 조절할 수 있는 기능을 제공합니다.
