On Vanishing Gradients, Over-Smoothing, and Over-Squashing in GNNs: Bridging Recurrent and Graph Learning
Created by
Haebom
Category
Empty
저자
Alvaro Arroyo, Alessio Gravina, Benjamin Gutteridge, Federico Barbero, Claudio Gallicchio, Xiaowen Dong, Michael Bronstein, Pierre Vandergheynst
Graph Neural Networks의 과도 평활 및 과도 압착 문제에 대한 통합적 시각
개요
본 논문은 그래프 신경망(GNN)의 과도 평활 및 과도 압착 문제를 기울기 소실 관점에서 통합적으로 분석한다. 선형 제어 이론의 아이디어를 활용하여 GNN을 재귀 모델로 해석하고, 간단한 상태 공간 공식을 통해 과도 평활 및 과도 압착 문제를 효과적으로 완화할 수 있음을 실험적으로 증명한다.
시사점, 한계점
•
GNN은 설계상 소수의 레이어에서도 극심한 기울기 소실에 취약하다는 것을 이론적 및 실험적으로 밝힘.
•
과도 평활은 기울기 소실을 유발하는 메커니즘과 직접적으로 관련되어 있음.
•
과도 압착은 그래프 재배선과 기울기 소실 완화를 결합하여 가장 쉽게 완화될 수 있음.
•
새로운 딥 GNN 설계의 가능성을 열어줌.
•
추가적인 학습 가능한 매개변수 없이 과도 평활 및 과도 압착 문제를 완화할 수 있는 상태 공간 공식을 제안함.
