본 논문은 데이터가 부족한 환경에서 자기회귀(AR) 언어 모델과 확산 기반 언어 모델의 성능을 비교 분석합니다. 제한된 데이터를 반복 학습하는 상황에서, 충분한 연산 자원이 주어진다면 확산 모델이 자기회귀 모델보다 훨씬 우수한 성능을 보인다는 것을 실험적으로 보여줍니다. 이는 확산 모델이 토큰 순서와 예측 작업의 다양한 분포에 노출됨으로써 암묵적인 데이터 증강 효과를 얻기 때문으로 해석합니다. 또한 확산 모델의 새로운 스케일링 법칙을 제시하고, 확산 모델이 자기회귀 모델을 능가하는 임계 연산량을 계산하는 폐쇄형 수식을 유도합니다. 결론적으로 데이터가 연산 자원보다 부족한 상황에서는 확산 모델이 자기회귀 모델보다 매력적인 대안이 될 수 있음을 시사합니다.
