GraphGPT는 그래프 유러리안 트랜스포머(GET)를 기반으로 하는 새로운 자기 지도 학습 기반 사전 훈련 그래프 생성 모델입니다. GET은 표준 트랜스포머 인코더 또는 디코더 아키텍처와 혁신적인 그래프-시퀀스 변환 방법을 결합하여 그래프 또는 샘플링된 서브그래프를 노드, 에지, 속성을 나타내는 토큰 시퀀스로 가역적으로 변환합니다. 다음 토큰 예측(NTP) 또는 예약된 마스크 토큰 예측(SMTP) 중 하나의 자기 지도 학습 태스크를 사용하여 GET을 사전 훈련하고, 그 후 그래프, 에지, 노드 수준 예측과 같은 다운스트림 작업을 위해 미세 조정합니다. 다양한 대규모 OGB 데이터셋에서 최첨단 방법과 비슷하거나 뛰어넘는 성능을 달성하며, 특히 PCQM4Mv2 및 ogbl-ppa 데이터셋에서 탁월한 결과를 보여줍니다. 생성적 사전 훈련을 통해 20억 개의 파라미터로 확장하면서도 성능 향상을 유지하여 기존 GNN 및 이전 GT의 확장성 한계를 극복합니다. 소스 코드와 사전 훈련된 체크포인트를 공개합니다.
