생물학적 뇌의 시냅스 가지치기에서 영감을 얻어, 훈련 중 중요도가 낮은 연결을 점진적으로 제거하는 크기 기반 시냅스 가지치기 방법을 제안합니다. RNN, LSTM, Patch Time Series Transformer 등 다양한 시계열 예측 모델에 적용하여 dropout을 대체하며, 훈련 루프에 직접 통합됩니다. 가중치 중요도는 절대 크기를 기준으로 계산되며, 큐빅 스케줄을 사용하여 전역 희소성을 점진적으로 증가시킵니다. 주기적으로 중요도가 낮은 가중치를 영구적으로 제거하고, 활성화된 가중치에 대한 기울기 흐름을 유지하여 별도의 가지치기 및 미세 조정 단계가 필요하지 않습니다.
