[공지사항]을 빙자한 안부와 근황 
Show more

Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

ĐàO tạo dựa trên dân số nhiều tần số

Created by
  • Haebom

Tác giả

Wa el Doulazmi, Auguste Lehuger, Marin Toromanoff, Valentin Charraut, Thibault Buhet, Fabien Moutarde

Phác thảo

Học tăng cường rất nhạy cảm với siêu tham số, dẫn đến sự bất ổn định và kém hiệu quả. Để giải quyết vấn đề này, các thuật toán tối ưu hóa siêu tham số (HPO) đã được phát triển. Huấn luyện dựa trên quần thể (PBT) là một thuật toán đã thu hút sự chú ý vì khả năng tạo lịch trình siêu tham số thay vì các thiết lập cố định. PBT huấn luyện nhiều tác nhân với các siêu tham số khác nhau và lặp lại quá trình thay thế các tác nhân hiệu suất thấp bằng các biến thể của các tác nhân vượt trội. Tuy nhiên, do quá trình lựa chọn trung gian này, PBT tập trung vào các cải tiến ngắn hạn và rơi vào trạng thái tối ưu cục bộ, điều này có thể dẫn đến hiệu suất thấp hơn so với tìm kiếm ngẫu nhiên chung về lâu dài. Bài báo này nghiên cứu cách vấn đề tham lam này liên quan đến tần suất tiến hóa (tốc độ thực hiện lựa chọn) và đề xuất MF-PBT (Huấn luyện dựa trên quần thể đa tần số), một thuật toán HPO mới giải quyết vấn đề tham lam bằng cách sử dụng các quần thể con tiến hóa ở các tần suất khác nhau. MF-PBT giới thiệu một quy trình di cư chuyển thông tin giữa các quần thể con để cân bằng giữa tối ưu hóa ngắn hạn và dài hạn. Các thí nghiệm mở rộng trên bộ Brax cho thấy MF-PBT cải thiện hiệu quả mẫu và hiệu suất lâu dài mà không cần điều chỉnh siêu tham số.

Takeaways, Limitations

Takeaways:
Chúng tôi trình bày một thuật toán mới, MF-PBT, giải quyết vấn đề PBT bị ám ảnh bởi những cải tiến ngắn hạn.
Cải thiện sự cân bằng giữa tối ưu hóa ngắn hạn và dài hạn thông qua các phân nhóm dân số và quá trình di cư.
Chúng tôi chứng minh hiệu quả mẫu được cải thiện và hiệu suất dài hạn trong bộ Brax mà không cần điều chỉnh siêu tham số.
Limitations:
Việc cải thiện hiệu suất của MF-PBT chỉ giới hạn ở bộ Brax và cần nghiên cứu thêm về khả năng tổng quát hóa của nó sang các môi trường khác.
Cần có thêm nghiên cứu về các siêu tham số của MF-PBT, chẳng hạn như số lượng quần thể phụ tối ưu và chiến lược di cư.
Cần có một phân tích so sánh sâu hơn với các thuật toán HPO khác.
👍