Bài báo này phân tích tác động của việc giảm kích thước do lượng tử hóa gradient gây ra đối với sự hội tụ của gradient descent ngẫu nhiên (SGD) trong học tập có độ chính xác thấp, điều này đã trở nên quan trọng để giảm chi phí tính toán và bộ nhớ trong học tập sâu quy mô lớn. Chúng tôi nghiên cứu sự hội tụ của SGD theo mô hình thu hẹp gradient, trong đó mỗi gradient ngẫu nhiên bị thu hẹp theo hệ số q_k \in (0,1] . Chúng tôi chỉ ra rằng sự thu hẹp này ảnh hưởng đến kích thước bước hiệu dụng \mu_k q_k , đây là kích thước bước điển hình và làm chậm sự hội tụ khi q_{\min} < 1. Theo các giả định thông thường về độ mượt và phương sai bị chặn, chúng tôi chứng minh rằng SGD có độ chính xác thấp vẫn hội tụ, nhưng ở tốc độ chậm hơn được xác định bởi q_{\min} và với mức lỗi trạng thái ổn định cao hơn do các hiệu ứng lượng tử hóa. Về mặt lý thuyết, chúng tôi phân tích cách độ chính xác số thấp làm chậm tốc độ học thông qua thu hẹp gradient bằng cách coi nó như thu hẹp gradient trong cài đặt hội tụ SGD tiêu chuẩn.
