Graph Transformers Dream of Electric Flow
Created by
- Haebom
Category
Empty
저자
Xiang Cheng, Lawrence Carin, Suvrit Sra
개요
본 논문은 그래프 데이터에 적용된 선형 트랜스포머가 전기 흐름 및 고유 벡터 분해와 같은 표준 문제를 해결하는 알고리즘을 구현할 수 있음을 이론적 및 실험적으로 보여줍니다. 트랜스포머는 그래프의 인접 행렬을 통해서만 입력 그래프의 정보에 접근합니다. 각 알고리즘을 구현하기 위한 명시적인 가중치 구성을 제시하고, 구성된 트랜스포머의 오차를 기저 알고리즘의 오차로 제한합니다. 이론적 발견은 합성 데이터에 대한 실험으로 확인됩니다. 또한 실제 분자 회귀 작업에서 선형 트랜스포머가 라플라시안 고유 벡터를 기반으로 하는 기본 위치 인코딩보다 더 효과적인 위치 인코딩을 학습할 수 있음을 관찰했습니다. 본 연구는 그래프 데이터에 대한 트랜스포머의 내부 작동 방식을 밝히는 초기 단계입니다. 코드는 https://github.com/chengxiang/LinearGraphTransformer 에서 확인할 수 있습니다.
시사점, 한계점
•
시사점:
◦
그래프 데이터에 대한 선형 트랜스포머의 작동 원리를 이론적, 실험적으로 규명.
◦
전기 흐름 및 고유 벡터 분해 알고리즘을 선형 트랜스포머로 구현 가능성 제시.
◦
라플라시안 고유 벡터 기반보다 효과적인 위치 인코딩 학습 가능성 확인.
•
한계점:
◦
실험은 주로 합성 데이터에 국한.
◦
실제 세계 문제에 대한 일반화 성능에 대한 추가 연구 필요.
◦
선형 트랜스포머의 성능이 기저 알고리즘의 오차에 의존하는 한계.
