Towards Foundation Models for Relational Databases with Language Models and Graph Neural Networks

작성자

Haebom

카테고리

Empty

저자

Jingcheng Wu, Ratan Bahadur Thapa, Mojtaba Nayyeri, Lucas Etteldorf, Max Finkenbeiner, Fabian Leeske, Steffen Staab

💡 개요

본 연구는 관계형 데이터베이스의 구조화된 정보를 활용하는 딥러닝 모델의 한계를 극복하기 위해 언어 모델(BART)과 그래프 신경망(GNN)을 결합한 하이브리드 아키텍처를 제안합니다. 이 모델은 각 행의 의미론적 정보를 포착하는 BART와 관계형 맥락을 주입하는 GNN을 통해 관계형 데이터에 대한 딥러닝의 성능을 향상시킵니다. RelBench 실험에서 제안된 모델은 기존의 지도 학습 기반 모델에 비해 경쟁력 있는 성능을 보이며, 최첨단 파운데이션 모델과의 격차를 줄였습니다.

🔑 시사점 및 한계

•

경량화된 언어 모델-그래프 신경망 하이브리드 아키텍처는 관계형 데이터베이스를 위한 파운데이션 모델 구축에 있어 유망하고 효율적인 경로를 제공합니다.

•

기존의 관계형 딥러닝 방식과 달리, 제안된 모델은 관계형 정보를 효과적으로 통합하여 데이터베이스에 대한 딥러닝의 적용 가능성을 넓혔습니다.

•

최첨단 파운데이션 모델과 비교했을 때 여전히 상당한 성능 격차가 존재하며, 이는 향후 연구를 통해 해결해야 할 과제입니다.

PDF 보기

Made with Slashpage