GLFormer는 동적 그래프 모델링을 위한 새로운 어텐션 프리(attention-free) Transformer 스타일 프레임워크입니다. 시간 경과에 따라 변화하는 관계를 모델링하는 데 중점을 둡니다. 특히, 교통 시스템, 소셜 네트워크, 추천 플랫폼과 같은 도메인에서 시간적 링크 예측 작업에 적용됩니다. GLFormer는 자체 어텐션에 의존하지 않고, 상호 작용 순서와 시간 간격을 기반으로 문맥을 인식하는 로컬 집계를 수행하는 적응형 토큰 믹서를 도입합니다. 장기적인 의존성을 포착하기 위해 계층적 집계 모듈을 설계하여 레이어 전체에서 로컬 토큰 믹서를 스태킹하여 시간적 수용 필드를 확장합니다. 6개의 널리 사용되는 동적 그래프 벤치마크에서 SOTA 성능을 달성하여, 어텐션 프리 아키텍처가 동적 그래프 설정에서 Transformer 기반 모델과 동등하거나 뛰어난 성능을 보이며 효율성을 크게 향상시킬 수 있음을 보여줍니다.
