Bài báo này tập trung vào hiện tượng hành vi đầu vào/đầu ra thay đổi khi các cấu trúc tính toán phức tạp được hình thành và định hình lại trong quá trình học sâu, khám phá các cảnh quan mất mát đa chiều trong không gian tham số mạng nơ-ron. Cụ thể, tận dụng khuôn khổ của lý thuyết học kỳ dị, chúng tôi đưa ra giả thuyết rằng việc phát triển mô hình có liên hệ sâu sắc với các đặc tính hình học cục bộ của cảnh quan mất mát, được gọi là thoái hóa. Nhắm mục tiêu vào một mô hình ngôn ngữ biến đổi và một biến đổi hồi quy tuyến tính cụ thể theo ngữ cảnh, chúng tôi theo dõi sự thoái hóa của cảnh quan mất mát trong suốt quá trình đào tạo bằng cách sử dụng các hệ số học cục bộ. Chúng tôi chứng minh rằng quá trình đào tạo được chia thành nhiều giai đoạn, được phân biệt bởi các thay đổi trong sự thoái hóa của cảnh quan mất mát và những thay đổi trong sự thoái hóa này tương ứng với các thay đổi trong cấu trúc tính toán bên trong của biến đổi và hành vi đầu vào/đầu ra. Điều này cung cấp bằng chứng cho thấy sự thoái hóa và tiến hóa có liên quan trong các biến đổi, làm nổi bật tiềm năng của một quan điểm dựa trên sự thoái hóa để hiểu học sâu hiện đại.
