A Survey of Graph Transformers: Architectures, Theories and Applications

Tue, 25 Feb 2025 05:49:12 GMT

### 저자

Chaohao Yuan, Kangfei Zhao, Ercan Engin Kuruoglu, Liang Wang, Tingyang Xu, Wenbing Huang, Deli Zhao, Hong Cheng, Yu Rong

### 개요

본 논문은 그래프 변환기(Graph Transformers, GTs)에 대한 종합적인 검토를 제공합니다. 그래프 신경망(GNNs)의 과할평활화 및 과압축과 같은 고유한 한계를 해결함으로써 그래프 구조를 모델링하는 데 강력한 기능을 보여주는 GTs의 최근 발전에 주목하여, GTs의 아키텍처, 이론적 기초 및 응용 분야를 다룹니다. 특히, 그래프 토큰화, 위치 인코딩, 구조 인식 어텐션 및 모델 앙상블을 포함한 구조 정보 처리 전략에 따라 GTs의 아키텍처를 분류하고, 다양한 아키텍처에서 GTs의 표현력을 검토하며, 다른 고급 그래프 학습 알고리즘과 비교 분석합니다. 또한, 분자, 단백질, 언어, 비전 트래픽, 뇌 및 재료 데이터와 같은 GTs가 활용된 실제 응용 사례를 요약하고, GTs의 현재 과제와 미래 연구 방향을 논의합니다.

### 시사점, 한계점

- **시사점:** GTs의 아키텍처, 이론적 기반, 다양한 응용 분야에 대한 종합적인 이해를 제공합니다. GTs의 구조 정보 처리 전략에 따른 분류는 GTs의 설계 및 발전에 대한 통찰력을 제공합니다. 다른 그래프 학습 알고리즘과의 비교 분석은 GTs의 강점과 약점을 명확히 합니다. 다양한 응용 분야의 사례 연구는 GTs의 실용성과 잠재력을 보여줍니다.

- **한계점:** 본 논문은 GTs에 대한 광범위한 검토를 제공하지만, 특정 아키텍처 또는 응용 분야에 대한 심층적인 분석은 제한적일 수 있습니다. 미래 연구 방향에 대한 논의는 상대적으로 개괄적일 수 있습니다. 최신 연구 동향을 완벽하게 포괄하지 못할 수 있습니다. (arXiv 논문의 특성상 발행 시점 이후의 연구는 포함되지 않을 수 있음)

[PDF 보기](https://arxiv.org/pdf/2502.16533)