Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

RapidGNN: Đào tạo phân tán hiệu quả về năng lượng và truyền thông trên mạng nơ-ron đồ thị quy mô lớn

Created by
  • Haebom

Tác giả

Arefin Niam, Tevfik Kosar, MSQ Zulkar Chín

Phác thảo

Bài báo này đề xuất RapidGNN, một khuôn khổ mới để cải thiện hiệu quả học tập phân tán của Mạng nơ-ron đồ thị (GNN) trên các đồ thị quy mô lớn. Trong khi các phương pháp tiếp cận dựa trên lấy mẫu hiện có làm giảm tải tính toán, chi phí truyền thông vẫn là một vấn đề. RapidGNN cho phép xây dựng bộ nhớ đệm hiệu quả và tìm nạp trước các tính năng từ xa thông qua lập lịch dựa trên lấy mẫu xác định. Kết quả đánh giá trên các tập dữ liệu đồ thị chuẩn cho thấy RapidGNN cải thiện thông lượng đào tạo đầu cuối trung bình từ 2,46 lần đến 3,00 lần so với các phương pháp hiện có và giảm việc tìm nạp tính năng từ xa từ 9,70 lần đến 15,39 lần. Hơn nữa, nó đạt được khả năng mở rộng gần tuyến tính với các đơn vị tính toán ngày càng tăng và cải thiện hiệu suất năng lượng lần lượt là 44% và 32% so với các phương pháp hiện có trên cả CPU và GPU.

Takeaways, Limitations

Takeaways:
Chúng tôi trình bày RapidGNN, một khuôn khổ mới giúp cải thiện đáng kể hiệu quả học tập phân tán của GNN trên các đồ thị quy mô lớn.
Cải thiện đáng kể thông lượng và hiệu quả năng lượng so với các phương pháp hiện có.
Nó thể hiện khả năng mở rộng gần như tuyến tính.
Chứng minh bằng thực nghiệm tính hiệu quả của việc lập lịch trình lấy mẫu xác định.
Limitations:
Thiếu thông tin chi tiết cụ thể về loại và quy mô của tập dữ liệu chuẩn được đề xuất.
Hiệu suất cải thiện của RapidGNN có thể phụ thuộc vào môi trường phần cứng cụ thể.
Cần có thêm phân tích so sánh với các khuôn khổ học tập phân tán khác.
Cần nghiên cứu thêm về khả năng ứng dụng và hiệu suất tổng quát của nhiều mô hình GNN khác nhau.
👍