고품질 훈련 데이터 부족으로 인해 생성형 AI 모델의 확장이 어려움을 겪고 있습니다. 생성 모델을 사용하여 합성 데이터를 생성하고, 이를 실제 데이터와 함께 fine-tuning에 활용하여 성능 향상을 꾀하는 시도가 있었지만, 모델 자체 붕괴(model collapse)로 이어져 샘플 품질 및 다양성이 저하되는 문제가 발생했습니다. 본 논문에서는 이러한 문제 해결을 위해 자기 훈련(self-training)으로부터 발생하는 성능 저하를 자기 개선 신호로 활용하는 새로운 학습 방법인 Neon (Negative Extrapolation frOm self-traiNing)을 제안합니다. Neon은 먼저 자체 생성 데이터로 기반 모델을 fine-tuning한 다음, 역방향 기울기 업데이트를 통해 성능 저하된 가중치로부터 벗어나는 방향으로 모델을 학습시킵니다. Neon은 예측 가능한 실제 데이터와 합성 데이터 간의 기울기 불일치를 수정하여 모델을 실제 데이터 분포에 더 가깝게 정렬시킵니다. 이 방법은 새로운 실제 데이터 없이 간단한 post-hoc merge를 통해 구현이 가능하며, 1,000개 미만의 합성 샘플로도 효과적으로 작동하며, 추가적인 훈련 컴퓨팅 자원을 1% 미만으로 사용합니다. 다양한 아키텍처(diffusion, flow matching, autoregressive, inductive moment matching models) 및 데이터셋(ImageNet, CIFAR-10, FFHQ)에 대한 Neon의 보편성을 입증했습니다. 특히 ImageNet 256x256에서 Neon은 xAR-L 모델의 FID를 1.02로 향상시켰으며, 추가 훈련 컴퓨팅 자원은 0.36%에 불과했습니다.
