본 논문은 심층 신경망의 성능과 일반화 능력 간의 균형 문제를 해결하기 위해 순환적 최적화 전략을 제시합니다. 기존의 훈련 방식을 재고하여 모델과 입력 데이터를 동시에 최적화하는 새로운 프레임워크를 제안합니다. 핵심은 반복적 구성적 섭동(ICP)으로, 모델의 손실을 이용하여 입력 데이터를 반복적으로 섭동시켜 개선된 표현을 단계적으로 구성하는 방법입니다. ICP로 처리된 입력 데이터는 모델에 다시 입력되어 개선된 중간 특징을 생성하고, 이는 원래 특징에 대한 자기 증류 프레임워크에서 목표값으로 사용됩니다. 모델 파라미터와 데이터를 번갈아 수정함으로써, 적합성과 일반화 간의 차이를 효과적으로 해소하여 성능을 향상시킵니다. 광범위한 실험을 통해 제안된 방법이 신경망의 일반적인 성능 병목 현상을 완화하고 다양한 훈련 변화에서 성능을 크게 향상시킨다는 것을 보여줍니다.
