高质量训练数据的缺乏阻碍了生成式人工智能模型的扩展。人们尝试使用生成模型生成合成数据，并用真实数据对其进行微调以提高性能，但这导致了模型崩溃，降低了样本质量和多样性。为了解决这个问题，本文提出了 Neon（Negative Extrapolation from self-training），这是一种新颖的训练方法，它将自训练导致的性能下降作为自我改进的信号。Neon 首先使用自生成数据对基础模型进行微调，然后通过后向梯度更新训练模型，使其摆脱性能下降的影响。Neon 纠正了可预测的真实数据和合成数据之间的梯度失配，使模型更接近真实数据分布。该方法可以通过简单的事后合并来实现，无需新增真实数据，只需少于 1,000 个合成样本即可有效运行，并且消耗的额外训练计算资源不到 1%。我们展示了 Neon 在多种架构（扩散模型、流匹配模型、自回归模型和归纳矩匹配模型）和数据集（ImageNet、CIFAR-10 和 FFHQ）上的泛化能力。具体而言，在 ImageNet 256x256 数据集上，Neon 仅额外消耗 0.36% 的训练计算资源，就将 xAR-L 模型的 FID 提升了 1.02。
