Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

GrokFormer: Graph Fourier Kolmogorov-Arnold Transformers

Created by
  • Haebom

저자

Guoguo Ai, Guansong Pang, Hezhe Qiao, Yuan Gao, Hui Yan

개요

Graph Transformer (GT)는 기존 Graph Neural Network (GNN)보다 우수한 성능을 보이지만, self-attention 메커니즘의 한계로 저주파 신호만 효과적으로 포착하여 고주파 신호 등 중요한 정보를 놓칠 수 있습니다. 기존 GT 모델들은 이 문제를 일부 해결했지만, 고정된 그래프 스펙트럼 또는 스펙트럼 순서에 의존하여 유연성과 표현력이 제한적입니다. 본 논문에서는 학습 가능한 활성화 함수에 대한 푸리에 급수 모델링을 통해 적응적인 그래프 스펙트럼과 스펙트럼 순서를 갖는 고도로 표현력 있는 스펙트럼 필터를 학습하는 새로운 GT 모델인 Graph Fourier Kolmogorov-Arnold Transformer (GrokFormer)를 제안합니다. 이론적 및 실험적으로 GrokFormer 필터가 다른 스펙트럼 방법보다 우수한 표현력을 제공함을 보였으며, 10개의 실제 노드 분류 데이터셋과 5개의 그래프 분류 데이터셋에 대한 실험 결과, GrokFormer가 최첨단 GT 및 GNN을 능가하는 성능을 보임을 확인했습니다.

시사점, 한계점

시사점:
학습 가능한 활성화 함수를 이용한 푸리에 급수 모델링을 통해 적응적인 그래프 스펙트럼 및 스펙트럼 순서를 갖는 고도로 표현력 있는 스펙트럼 필터를 구현하여 기존 GT의 한계를 극복했습니다.
다양한 도메인, 규모 및 그래프 특성을 가진 10개의 노드 분류 데이터셋과 5개의 그래프 분류 데이터셋에서 최첨단 GT 및 GNN을 능가하는 성능을 달성했습니다.
GrokFormer의 코드를 공개하여 재현성을 높였습니다.
한계점:
제안된 모델의 계산 복잡도 및 메모리 요구량에 대한 자세한 분석이 부족합니다.
다양한 그래프 구조에 대한 일반화 성능에 대한 추가적인 연구가 필요합니다.
특정 그래프 유형에 대해서는 성능이 저하될 가능성이 있습니다.
👍