Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

EoH-S: Sự phát triển của tập hợp Heuristic sử dụng LLM để thiết kế Heuristic tự động

Created by
  • Haebom

Tác giả

Phi Lưu, Yilu Liu, Qingfu Zhang, Xialiang Tong, Mingxuan Yuan

Phác thảo

Bài báo này đề xuất Thiết kế tập hợp Heuristic tự động (AHSD), một phương pháp mới để tự động tạo ra các tập hợp heuristic bổ sung áp dụng cho nhiều trường hợp vấn đề khác nhau, nhằm giải quyết vấn đề hiệu suất tổng quát kém do việc tạo ra một heuristic duy nhất, là Limitations, trong Thiết kế Heuristic tự động (AHD) sử dụng Mô hình ngôn ngữ lớn (LLM). AHSD hướng đến việc tạo ra một tập hợp nhỏ các heuristic bổ sung sao cho ít nhất một heuristic tối ưu hóa mỗi trường hợp vấn đề. Chúng tôi chứng minh rằng hàm mục tiêu của AHSD là đơn điệu tăng và siêu môđun, và chúng tôi đề xuất Thuật toán tiến hóa của các tập hợp Heuristic (EoH-S) tạo ra hiệu quả các tập hợp heuristic bổ sung chất lượng cao bằng cách tận dụng hai cơ chế mới: quản lý quần thể bổ sung và tìm kiếm thuật toán di truyền có nhận thức bổ sung. Kết quả thử nghiệm trên các tác vụ AHD với ba kích thước và phân phối khác nhau của các trường hợp vấn đề chứng minh rằng EoH-S luôn vượt trội hơn các phương pháp AHD hiện đại, đạt được cải thiện hiệu suất lên tới 60%.

Takeaways, Limitations

Takeaways:
Chúng tôi trình bày một phương pháp mới (AHSD) khắc phục được những hạn chế của phương pháp tìm kiếm đơn lẻ trong AHD dựa trên LLM và cải thiện hiệu suất tổng quát hóa cho nhiều trường hợp vấn đề khác nhau.
Bằng cách tiết lộ các tính chất toán học của hàm mục tiêu của AHSD (đơn điệu tăng và siêu môđun), chúng tôi thiết lập cơ sở lý thuyết cho việc thiết kế thuật toán.
Phát triển thuật toán EoH-S để tạo ra hiệu quả một tập hợp thuật toán bổ sung chất lượng cao thông qua cơ chế quản lý nhóm bổ sung và cơ chế tìm kiếm thuật toán di truyền nhận thức bổ sung.
Chúng tôi trình bày kết quả thử nghiệm vượt trội hơn đáng kể so với các phương pháp AHD hiệu suất cao hiện có trên nhiều trường hợp có vấn đề (cải thiện hiệu suất lên đến 60%).
Limitations:
Hiệu quả của phương pháp đề xuất có thể bị giới hạn trong một phạm vi vấn đề cụ thể và khả năng tổng quát hóa của nó đối với các loại vấn đề khác cần được nghiên cứu thêm.
Phân tích về việc điều chỉnh tham số của thuật toán EoH-S vẫn còn thiếu và cần nghiên cứu thêm về tối ưu hóa tham số.
Có thể có sự phụ thuộc lớn vào kích thước và hiệu suất của LLM và có khả năng hiệu suất bị suy giảm do những hạn chế của LLM.
Tính đa dạng của các trường hợp vấn đề được sử dụng trong các thí nghiệm có thể bị hạn chế và cần phải có thêm các thí nghiệm trên phạm vi rộng hơn về các trường hợp vấn đề.
👍