Rudder: Steering Prefetching in Distributed GNN Training using LLM Agents

Created by

Haebom

저자

Aishwarya Sarkar, Sayan Ghosh, Nathan Tallent, Aman Chadha, Tanya Roosta, Ali Jannesari

💡 개요

본 논문은 대규모 그래프 신경망(GNN) 학습 시 발생하는 빈번하고 불규칙적인 통신 지연 문제를 해결하기 위해 Rudder라는 새로운 소프트웨어 모듈을 제안합니다. Rudder는 LLM 에이전트를 활용하여 동적인 학습 환경에 적응적으로 원격 노드를 미리 가져오는(prefetching) 방식을 사용하여 통신을 최소화합니다. 실험 결과, Rudder는 기존 방식 대비 최대 91%의 학습 성능 향상을 달성했으며, 통신량을 50% 이상 감소시켰습니다.

🔑 시사점 및 한계

•

LLM의 인컨텍스트 학습(ICL) 능력을 활용하여 동적인 GNN 학습 환경에서 효과적인 사전 가져오기(prefetching) 제어가 가능함을 입증했습니다.

•

기존의 고정적인 휴리스틱이나 전통적인 ML 분류기를 넘어, LLM 에이전트가 복잡하고 변화하는 데이터 통신 패턴을 파악하고 적응하는 데 뛰어난 성능을 보입니다.

•

LLM 에이전트의 복잡성으로 인한 오버헤드 및 학습 초기 단계에서의 잠재적 비효율성, 그리고 다양한 GNN 아키텍처 및 분산 환경에서의 일반화 가능성에 대한 추가 연구가 필요합니다.

PDF 보기

Made with Slashpage