Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Cảnh quan mất mát-độ phức tạp và các hàm cấu trúc mô hình

Created by
  • Haebom

Tác giả

Alexander Kolpakov

Phác thảo

Chúng tôi phát triển một khuôn khổ cho tính đối ngẫu của hàm cấu trúc Kolmogorov h x (α) để cho phép các proxy độ phức tạp khả thi về mặt tính toán. Chúng tôi thiết lập một phép loại suy toán học giữa các cấu trúc lý thuyết thông tin và cơ học thống kê, đồng thời giới thiệu các hàm phân vùng và hàm năng lượng tự do phù hợp. Chúng tôi chứng minh rõ ràng tính đối ngẫu Legendre-Fenchel giữa các hàm cấu trúc và năng lượng tự do, thể hiện sự cân bằng chi tiết của các hạt nhân Metropolis và diễn giải xác suất chấp nhận theo các biên độ tán xạ lý thuyết thông tin. Điều này cho thấy phương sai, chẳng hạn như độ nhạy của độ phức tạp của mô hình, đạt đỉnh chính xác tại điểm đánh đổi giữa mất mát và độ phức tạp, được diễn giải như một quá trình chuyển pha. Các thí nghiệm thực tế với các mô hình hồi quy tuyến tính và dựa trên cây xác minh các dự đoán lý thuyết này và chúng tôi chỉ ra rõ ràng sự tương tác giữa độ phức tạp của mô hình, khái quát hóa và ngưỡng quá khớp.

Takeaways, Limitations

Takeaways: Chúng tôi chứng minh rằng khuôn khổ đối ngẫu của các hàm cấu trúc Kolmogorov có thể được sử dụng để phân tích và định lượng mối quan hệ giữa độ phức tạp của mô hình, hiệu suất tổng quát hóa và hiện tượng quá khớp từ góc độ lý thuyết thông tin và cơ học thống kê. Chúng tôi trình bày một góc nhìn mới, diễn giải sự đánh đổi giữa mất mát và độ phức tạp như một quá trình chuyển pha, và cung cấp độ chính xác lý thuyết bằng cách kết nối sự cân bằng chi tiết của các hạt nhân Metropolis với biên độ tán xạ lý thuyết thông tin. Chúng tôi xác minh tính hợp lệ của các dự đoán lý thuyết bằng các thí nghiệm.
Limitations: Nghiên cứu hiện tại chỉ giới hạn ở các mô hình hồi quy tuyến tính và mô hình cây, và khả năng khái quát hóa cho các loại mô hình khác cần được nghiên cứu thêm. Chưa có phân tích về ảnh hưởng của các đặc điểm của tập dữ liệu được sử dụng để xác thực thực nghiệm đến kết quả. Cần xác thực thực nghiệm trên nhiều tập dữ liệu và mô hình đa dạng hơn.
👍