Griffin: Towards a Graph-Centric Relational Database Foundation Model
Created by
Haebom
저자
Yanbo Wang, Xiyuan Wang, Quan Gan, Minjie Wang, Qibin Yang, David Wipf, Muhan Zhang
개요
Griffin은 관계형 데이터베이스(RDBs)를 위해 특별히 설계된 최초의 기초 모델 구현입니다. 기존의 단일 RDB 작업에 중점을 둔 소규모 모델과 달리, Griffin은 데이터 인코더와 작업 디코더를 통합하여 다양한 작업을 처리합니다. 또한, 크로스 어텐션 모듈과 새로운 집계기를 통합하여 아키텍처를 개선했습니다. Griffin은 단일 테이블 및 RDB 데이터셋 모두에 대한 사전 훈련을 활용하며, 범주형, 수치형 및 메타데이터 기능을 위한 고급 인코더와 크로스 어텐션 모듈 및 향상된 메시지 전달 신경망(MPNNs)과 같은 혁신적인 구성 요소를 사용하여 관계형 데이터의 복잡성을 포착합니다. 다양한 도메인의 RDB에서 추출한 대규모, 이종 및 시간적 그래프(1억 5천만 개 이상의 노드)에서 평가된 Griffin은 개별적으로 훈련된 모델에 비해 우수하거나 비슷한 성능을 보여주며, 데이터가 부족한 시나리오에서도 탁월하고, 새로운 데이터셋과 작업에 대한 사전 훈련의 유사성과 다양성을 통해 강력한 전이성을 보여줍니다. 이는 RDB에 대한 보편적으로 적용 가능한 기초 모델로서의 잠재력을 강조합니다. 코드는 https://github.com/yanxwb/Griffin 에서 사용할 수 있습니다.