Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

RapidGNN: Entrenamiento distribuido eficiente en energía y comunicación en redes neuronales de gráficos a gran escala

Created by
  • Haebom

Autor

Arefin Niam, Tevfik Kosar, MSQ Zulkar Nine

Describir

Este artículo propone RapidGNN, un nuevo marco para mejorar la eficiencia del aprendizaje distribuido de redes neuronales de grafos (GNN) en grafos a gran escala. Si bien los enfoques existentes basados ​​en muestreo reducen la carga computacional, la sobrecarga de comunicación sigue siendo un problema. RapidGNN permite la construcción eficiente de cachés y la precarga remota de características mediante una programación determinista basada en muestreo. Los resultados de la evaluación en conjuntos de datos de grafos de referencia muestran que RapidGNN mejora el rendimiento del entrenamiento de extremo a extremo en un promedio de 2,46x a 3,00x en comparación con los métodos existentes, y reduce la carga remota de características en 9,70x a 15,39x. Además, logra una escalabilidad casi lineal con el aumento de unidades de cómputo y mejora la eficiencia energética en un 44% y un 32%, respectivamente, en comparación con los métodos existentes tanto en CPU como en GPU.

Takeaways, Limitations

Takeaways:
Presentamos RapidGNN, un nuevo marco que mejora significativamente la eficiencia del aprendizaje distribuido de GNN en gráficos de gran escala.
Rendimiento y eficiencia energética significativamente mejorados en comparación con los métodos existentes.
Exhibe una escalabilidad casi lineal.
Demostrar empíricamente la eficacia de la programación basada en muestreo determinista.
Limitations:
Falta de detalles específicos sobre el tipo y tamaño del conjunto de datos de referencia propuesto.
Las mejoras de rendimiento de RapidGNN pueden depender de entornos de hardware específicos.
Se necesita un análisis comparativo más profundo con otros marcos de aprendizaje distribuido.
Se necesita más investigación sobre la aplicabilidad y el rendimiento de generalización de varios modelos GNN.
👍