Relational In-Context Learning via Synthetic Pre-training with Structural Prior

작성자

Haebom

카테고리

Empty

저자

Yanbo Wang, Jiaxuan You, Chuan Shi, Muhan Zhang

💡 개요

본 논문은 텍스트나 비전 분야와 달리 기반 모델이 부족한 관계형 데이터베이스(RDB) 분야의 데이터 부족 문제를 해결하기 위해 합성 데이터만을 사용한 첫 번째 관계형 기반 모델인 RDB-PFN을 제안합니다. 구조적 인과 모델(SCM)에서 생성된 합성 데이터를 활용하는 PFN의 아이디어에 착안하여, 다양한 RDB를 무한하게 생성하는 관계형 사전 생성기를 설계했습니다. 200만 개 이상의 합성 단일 테이블 및 관계형 작업을 사전 훈련한 RDB-PFN은 경량 아키텍처와 빠른 추론 속도로도 실제 19개 관계형 예측 작업에서 뛰어난 소수샷(few-shot) 성능을 달성했습니다.

🔑 시사점 및 한계

•

관계형 데이터베이스를 위한 최초의 합성 데이터 기반 기반 모델: RDB 분야의 고질적인 데이터 부족 문제를 극복하고 일반화 가능한 모델을 구축할 가능성을 제시합니다.

•

실제 데이터셋에서의 우수한 소수샷 성능: 적은 수의 예시만으로도 새로운 데이터베이스에 즉시 적응하여 실제 예측 작업에서 최신 모델들을 능가하는 성능을 보여줍니다.

•

경량 아키텍처 및 빠른 추론 속도: 효율적인 모델 설계로 인해 실용적인 적용 가능성을 높였습니다.

•

합성 데이터의 현실 반영 한계: 합성 데이터 생성 과정에서 실제 RDB의 복잡성, 예외 상황, 데이터의 비대칭성 등을 완벽하게 반영하기 어려울 수 있습니다.

•

구조적 사전 정보의 제약: SCM 기반의 합성 데이터 생성은 특정 종류의 구조적 사전 정보에 의존하며, 이 정보가 제한적일 경우 모델의 일반화 능력에 한계가 있을 수 있습니다.

PDF 보기

Made with Slashpage