PluRel: Synthetic Data unlocks Scaling Laws for Relational Foundation Models

Created by

Haebom

저자

Vignesh Kothapalli, Rishabh Ranjan, Valter Hudovernik, Vijay Prakash Dwivedi, Johannes Hoffart, Carlos Guestrin, Jure Leskovec

💡 개요

본 연구는 프라이버시 문제로 인해 희소한 다중 테이블 관계형 데이터베이스(RFM 학습에 필수적) 문제를 해결하기 위해 PluRel이라는 새로운 프레임워크를 제안합니다. PluRel은 스키마, 테이블 간 연결성, 특징 분포를 단계별로 모델링하여 다양하고 계산 효율적인 합성 데이터베이스를 생성합니다. 이를 통해 연구진은 합성 데이터베이스의 규모와 사전 학습 토큰 수에 따라 RFM 사전 학습 손실이 파워 로우 법칙을 따른다는 점을 최초로 발견했으며, 합성 데이터셋 확장이 실제 데이터베이스에 대한 일반화 성능을 향상시킨다는 것을 입증했습니다.

🔑 시사점 및 한계

•

합성 데이터를 대규모로 생성하고 활용하는 것이 관계형 기초 모델(RFM)의 학습을 스케일링하는 유망한 패러다임이 될 수 있음을 제시합니다.

•

합성 데이터셋의 규모를 늘리는 것이 실제 데이터베이스에 대한 RFM의 일반화 성능을 향상시킬 수 있습니다.

•

합성 데이터를 이용한 사전 학습이 실제 데이터베이스를 이용한 추가 학습에 강력한 기반 모델을 제공할 수 있습니다.

•

PluRel의 합성 데이터가 실제 데이터베이스의 모든 복잡성과 뉘앙스를 완벽하게 포착할 수 있는지에 대한 검증이 더 필요합니다.

PDF 보기

Made with Slashpage