Bài báo này cung cấp một phân tích thực nghiệm về động lực học gradient, đóng vai trò then chốt trong việc xác định tính ổn định và khả năng khái quát hóa của mạng nơ-ron sâu. Chúng tôi phân tích sự tiến hóa của phương sai và độ lệch chuẩn của gradient trong mạng nơ-ron tích chập, vốn thể hiện những thay đổi nhất quán ở cả quy mô từng lớp và quy mô toàn cục. Dựa trên những quan sát này, chúng tôi đề xuất một phương pháp chính quy hóa gradient không sử dụng siêu tham số, giúp điều chỉnh tỷ lệ gradient phù hợp với quá trình tiến hóa tự nhiên. Phương pháp này ngăn ngừa sự khuếch đại ngoài ý muốn, ổn định quá trình tối ưu hóa và duy trì các đảm bảo hội tụ. Các thí nghiệm trên chuẩn CIFAR-100 đầy thách thức sử dụng ResNet-20, ResNet-56 và VGG-16-BN chứng minh rằng phương pháp này duy trì hoặc cải thiện độ chính xác của bài kiểm tra ngay cả khi khái quát hóa mạnh. Ngoài việc chứng minh những cải tiến đáng kể về hiệu suất, nghiên cứu này còn nhấn mạnh tầm quan trọng của việc theo dõi trực tiếp động lực học gradient để thu hẹp khoảng cách giữa kỳ vọng lý thuyết và hành vi thực nghiệm, đồng thời cung cấp thông tin chi tiết cho nghiên cứu tối ưu hóa trong tương lai.
