Bài báo này đề cập đến một thách thức cốt lõi trong học sâu: hiểu cách mạng nơ-ron học các biểu diễn. Một phương pháp tiếp cận chính là Giả thuyết Đặc điểm Nơ-ron (NFA) (Radhakrishnan và cộng sự, 2024), một phỏng đoán về cơ chế mà quá trình học đặc điểm diễn ra. Mặc dù đã được xác thực theo kinh nghiệm, NFA thiếu cơ sở lý thuyết, khiến cho việc khi nào chúng có thể thất bại và cách cải thiện chúng trở nên không rõ ràng. Bài báo này sử dụng phương pháp tiếp cận nguyên lý đầu tiên để hiểu tại sao quan sát này lại đúng và khi nào thì không. Sử dụng tiêu chí tối ưu hóa bậc nhất, chúng tôi đưa ra Đặc điểm Tại Hội tụ (FACT), một giải pháp thay thế cho NFA. FACT (a) đạt được sự thống nhất cao hơn với các đặc điểm đã học tại hội tụ, (b) giải thích tại sao NFA đúng trong hầu hết các cài đặt và (c) nắm bắt các hiện tượng học đặc điểm thiết yếu trong mạng nơ-ron, chẳng hạn như hành vi mò mẫm của số học mô-đun và chuyển pha trong học chẵn lẻ thưa thớt, tương tự như NFA. Do đó, kết quả của nghiên cứu này tích hợp phân tích tối ưu hóa bậc nhất lý thuyết của mạng nơ-ron với tài liệu NFA theo kinh nghiệm và cung cấp một giải pháp thay thế có nguyên tắc có thể kiểm chứng và có giá trị thực nghiệm khi hội tụ.
