Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

ĐáNh giá hiệu quả của lý luận dựa trên LLM cho lập lịch công việc HPC đa mục tiêu

Created by
  • Haebom

Tác giả

Prachi Jadhav, Hongwei Jin, Ewa Deelman, Prasanna Balaprakash

Phác thảo

Bài báo này đề xuất một bộ lập lịch dựa trên mô hình ngôn ngữ quy mô lớn (LLM) dựa trên khuôn khổ ReAct để giải quyết các vấn đề lập lịch tác vụ điện toán hiệu năng cao (HPC). Các phương pháp dựa trên phương pháp tìm kiếm (FCFS, SJF) và các kỹ thuật tối ưu hóa hiện có thiếu khả năng thích ứng với khối lượng công việc động và không thể đồng thời tối ưu hóa nhiều mục tiêu. Bộ lập lịch dựa trên LLM được đề xuất sử dụng bộ nhớ tạm để theo dõi lịch sử lập lịch, cải thiện việc ra quyết định thông qua phản hồi ngôn ngữ tự nhiên và đảm bảo tính khả thi và an toàn thông qua mô-đun thực thi ràng buộc. Các đánh giá về nhiều tình huống khối lượng công việc HPC thực tế khác nhau bằng cách sử dụng O4-Mini của OpenAI và Claude 3.7 của Anthropic chứng minh rằng bộ lập lịch dựa trên LLM cân bằng hiệu quả nhiều mục tiêu và cung cấp suy luận minh bạch thông qua theo dõi ngôn ngữ tự nhiên. Nó thể hiện sự thỏa mãn ràng buộc tuyệt vời và thích ứng với các khối lượng công việc đa dạng mà không cần học tập theo miền cụ thể. Tuy nhiên, sự đánh đổi giữa chất lượng suy luận và chi phí tính toán vẫn là một thách thức đối với việc triển khai theo thời gian thực. Bài báo này là nghiên cứu toàn diện đầu tiên về ứng dụng LLM suy luận vào lập lịch HPC, chứng minh tiềm năng của nó trong tối ưu hóa đa mục tiêu đồng thời nêu bật những hạn chế về hiệu quả tính toán.

Takeaways, Limitations

Takeaways:
Chúng tôi chứng minh rằng lập lịch dựa trên LLM có thể cân bằng hiệu quả nhiều mục tiêu (giảm thiểu thời gian chờ, giảm độ trễ, tối ưu hóa việc sử dụng tài nguyên và đảm bảo tính công bằng) trên nhiều khối lượng công việc HPC khác nhau.
Theo dõi ngôn ngữ tự nhiên có thể giúp đảm bảo tính minh bạch trong quá trình lập lịch trình và giúp việc ra quyết định dễ hiểu hơn.
Nó cung cấp tính linh hoạt để thích ứng với khối lượng công việc đa dạng mà không cần phải học theo từng lĩnh vực cụ thể.
Chúng tôi trình bày ứng dụng tiềm năng của LLM vào các vấn đề lập lịch trình phức tạp.
Limitations:
Sự đánh đổi giữa chất lượng suy luận của LLM và chi phí tính toán có thể khiến việc triển khai theo thời gian thực trở nên khó khăn.
Chi phí tính toán của LLM rất đáng kể, đòi hỏi phải xem xét hiệu quả kinh tế để ứng dụng trong môi trường HPC thực tế.
👍