본 논문은 메모리 제약이 있는 에지 디바이스에서의 효율적인 모델 학습을 위한 동적 그래디언트 희소 업데이트 방법을 제안합니다. 기존 백프로퍼게이션 과정에서 발생하는 높은 메모리 사용량 문제를 해결하기 위해, 중요한 채널과 레이어만 업데이트하고 나머지는 건너뛰는 방식을 사용합니다. 이때 채널 선택은 각 반복마다 동적으로 이루어져 시간에 따라 대부분의 파라미터를 탐색하여 성능을 향상시킵니다. 실험 결과, ImageNet으로 사전 학습된 MobileNetV2를 CIFAR-10 데이터셋으로 학습시킨 결과, 256KB의 온칩 메모리에서 전체 가중치의 2%만 업데이트하면서 85.77%의 정확도를 달성하였습니다. 이는 기존 방식 대비 특징 메모리 사용량을 98% 감소시킨 결과입니다.
