本文针对基于 Vision Transformer 的模型中特征产生的高维伪影问题，提出了 SiNGER（奇异零空间引导能量重分配），这是一个旨在解决该问题的新型知识蒸馏框架。Vision Transformer 虽然广泛应用于视觉领域，但它会产生高维伪影，从而降低表征质量。在知识蒸馏过程中，这些伪影会影响学生模型，导致过拟合于伪影而非有用信号。SiNGER 旨在通过教师特征细化来保留有用信号，同时抑制伪影。具体而言，它利用零空间引导的扰动来保留信息，并通过基于 LoRA 的适配器高效实现。通过大量实验，我们证明 SiNGER 能够提升学生模型的性能，在多个下游任务中达到最佳性能，并产生更清晰、更易于解释的表征。
