Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Murakkab: Điều phối quy trình làm việc hiệu quả về tài nguyên trên nền tảng đám mây

Created by
  • Haebom

Tác giả

Gohar Irfan Chaudhry, Esha Choukse, Haoran Qiu, I nigo Goiri, Rodrigo Fonseca, Adam Belay, Ricardo Bianchini

Phác thảo

Murakkab là một hệ thống phục vụ hiệu quả về tài nguyên cho các quy trình làm việc dựa trên tác nhân. Các khuôn khổ hiện có kết hợp chặt chẽ logic tác nhân với lựa chọn mô hình và phần cứng, phơi bày các quy trình làm việc như các chuỗi mờ đục của các lệnh gọi mô hình và công cụ, dẫn đến tình trạng kém hiệu quả. Murakkab giới thiệu một sự trừu tượng hóa khai báo tách biệt các thông số kỹ thuật quy trình làm việc khỏi cấu hình thực thi. Một trình tối ưu hóa theo cấu hình và một thời gian chạy thích ứng quản lý toàn bộ ngăn xếp, bao gồm việc sắp xếp các thành phần quy trình làm việc, ánh xạ tới các mô hình và phần cứng, và cấu hình lại động để đáp ứng các mục tiêu mức dịch vụ (SLO) do người dùng xác định. Bằng cách phơi bày cấu trúc bên trong của các quy trình làm việc của tác nhân, nó cho phép tối ưu hóa xuyên lớp mà các khuôn khổ hiện có và bộ lập lịch đám mây không thể đạt được. Các đánh giá trên nhiều quy trình làm việc khác nhau đã chỉ ra rằng Murakkab giảm mức sử dụng GPU tới 2,8 lần, mức tiêu thụ năng lượng tới 3,7 lần và chi phí tới 4,3 lần, trong khi vẫn duy trì SLO.

Takeaways, Limitations

•
Takeaways:
◦
Quy trình làm việc dựa trên tác nhân có thể cải thiện đáng kể hiệu quả sử dụng tài nguyên (giảm mức sử dụng GPU, mức tiêu thụ năng lượng và chi phí).
◦
Trừu tượng khai báo tách biệt các thông số quy trình làm việc khỏi cấu hình thực thi, tăng tính linh hoạt và khả năng quản lý.
◦
Tối ưu hóa đa lớp cho phép quản lý tài nguyên hiệu quả hơn so với các hệ thống hiện có.
◦
Chúng tôi đã chứng minh bằng thực nghiệm rằng có thể giảm mức sử dụng tài nguyên trong khi vẫn đáp ứng được SLO.
•
Limitations:
◦
Hiệu suất cải tiến của Murakkab có thể khác nhau tùy thuộc vào quy trình làm việc và môi trường phần cứng cụ thể.
◦
Cần nghiên cứu thêm để khám phá khả năng khái quát hóa trên nhiều loại quy trình làm việc của tác nhân khác nhau.
◦
Sự phức tạp của các khái niệm trừu tượng có thể gây khó khăn cho một số người dùng.
◦
Tính ổn định và khả năng mở rộng lâu dài trong môi trường vận hành thực tế cần phải được xác minh.
👍
Made with Slashpage