본 논문은 Vision Transformer 기반 모델의 특징에서 발생하는 고차원 아티팩트 문제와 이를 해결하기 위한 새로운 증류 프레임워크인 SiNGER (Singular Nullspace-Guided Energy Reallocation)를 제안합니다. Vision Transformer는 비전 분야에서 널리 사용되지만, 고차원 아티팩트를 생성하여 표현 품질을 저하시키는 문제가 있습니다. 지식 증류 과정에서 이러한 아티팩트가 학생 모델에 영향을 미쳐, 유용한 신호보다 아티팩트에 과적합되는 문제를 야기합니다. SiNGER는 교사 특징 정제를 통해 아티팩트를 억제하면서 유용한 신호를 보존하는 것을 목표로 합니다. 특히, nullspace-guided perturbation을 활용하여 정보를 보존하고, LoRA 기반 어댑터를 통해 효율적으로 구현됩니다. 다양한 실험을 통해 SiNGER가 학생 모델의 성능을 향상시키고, 여러 다운스트림 태스크에서 최첨단 성능을 달성하며, 보다 명확하고 해석 가능한 표현을 생성함을 입증했습니다.
