Yaochen Hu, Mai Zeng, Ge Zhang, Pavel Rumiantsev, Liheng Ma, Yingxue Zhang, Mark Coates
개요
본 논문은 그래프 신경망(GNN)의 추론 비용을 줄이기 위한 새로운 방법을 제안합니다. GNN은 그래프 표현 학습에서 우수한 성능을 보이지만, 많은 노드에 대한 메모리 접근이 필요한 집계 연산으로 인해 추론 비용이 높을 수 있습니다. 특히 동적인 노드 특징을 반영하는 온라인 예측에 GNN 모델을 배포하는 데는 이 추론 비용이 주요 장애물입니다. 본 연구는 집계 과정에 포함되는 노드 수를 줄이기 위해 확장된 이웃 내에서 신중하게 선택된 노드 부분 집합의 선형 변환된 특징의 가중 합을 사용하여 노드 표현을 근사하는 스파스 분해 기법을 제안합니다. 이 방법은 그래프 신경망의 평균 노드 차수와 층 수에 대해 선형적 복잡도를 달성하며, 스파스 분해를 위한 최적 매개변수를 계산하는 알고리즘과 훈련 시간을 줄이고 학습 과정을 개선하는 효과적인 전략을 제시합니다. 광범위한 실험을 통해 제안된 방법이 노드 분류 및 시공간 예측 작업 모두에서 유사한 추론 시간으로 상당한 정확도 향상을 달성하며, 추론 속도 향상을 위해 설계된 다른 기준 모델보다 우수한 성능을 보임을 보여줍니다.
시사점, 한계점
•
시사점:
◦
GNN의 추론 비용을 효과적으로 줄이는 새로운 스파스 분해 기법 제시.
◦
온라인 예측을 위한 GNN 모델 배포의 실현 가능성 증대.
◦
노드 분류 및 시공간 예측 작업에서 기존 방법보다 우수한 정확도와 추론 속도 달성.
◦
평균 노드 차수와 층 수에 대해 선형적 복잡도를 가짐으로써 확장성 향상.
•
한계점:
◦
제안된 스파스 분해 기법의 최적 매개변수 계산에 필요한 계산 비용에 대한 추가적인 분석 필요.
