본 논문은 메시지 전달 방식의 한계를 극복하기 위해 생성적 트랜스포머 사전 학습 프레임워크인 Generative Graph Pattern Machine (G²PM)을 제안합니다. G²PM은 그래프 인스턴스를 부분 구조 시퀀스로 표현하고, 이 시퀀스에 대한 생성적 사전 학습을 통해 일반화 가능하고 전이 가능한 표현을 학습합니다. 기존 메시지 전달 방식 GNN의 제한된 표현력, 과도한 평활화, 과도한 압축, 장거리 의존성 모델링의 어려움 등의 문제점을 해결하고자 시도하며, 특히 대규모 모델에서도 성능 향상을 보이는 확장성을 강조합니다. ogbn-arxiv 벤치마크에서 최대 60M 파라미터의 모델 크기까지 성능 향상을 보이며 기존 생성적 접근 방식보다 우수한 성능을 입증합니다. 노드 분류, 그래프 분류, 전이 학습 등 다양한 작업에서 강력한 기준 모델들을 능가하는 성능을 보여줍니다. 소스 코드와 데이터셋은 깃허브에 공개되어 있습니다.
