저정밀도 훈련은 대규모 딥러닝의 계산 및 메모리 비용을 줄이는 데 중요해졌습니다. 그러나 기울기를 양자화하면 크기가 축소되어 확률적 경사 하강법(SGD)의 수렴 방식이 변경될 수 있습니다. 본 연구에서는 각 확률적 기울기가 q_k \in (0,1] 인 인수로 스케일링되는 기울기 축소 모델에서 SGD 수렴을 탐구합니다. 이 축소는 일반적인 스텝 사이즈 \mu_k 에 효과적인 스텝 사이즈 \mu_k q_k 로 영향을 미치며, q_{\min} < 1 일 때 수렴 속도를 늦춥니다. 일반적인 평활성 및 유한 분산 가정을 통해 저정밀도 SGD가 여전히 수렴하지만 q_{\min} 에 의해 설정된 느린 속도로 수렴하고 양자화 효과로 인해 더 높은 정상 상태 오차 수준을 갖는다는 것을 증명합니다. 낮은 수치 정밀도가 표준 SGD 수렴 설정 내에서 기울기 축소로 취급하여 훈련 속도를 늦추는 방식을 이론적으로 분석합니다.
