Shaping the Prior: How Synthetic Task Distributions Determine Tabular Foundation Model Quality

작성자

Haebom

카테고리

Empty

저자

Mohamed Bouadi, Nassim Bouarour, Varun Kulkarni, Shivam Dubey, Aditya Tanna, Vinay Kumar Sankarapu

💡 개요

본 논문은 테이블 데이터 기반 파운데이션 모델의 품질을 결정하는 중요한 요인으로 사전 학습 데이터셋의 합성 분포 설계의 중요성을 강조합니다. 기존 방식이 지나치게 이상적인 데이터 분포를 생성하여 실제 환경에서의 견고성 부족 문제를 야기한다는 점에 착안하여, O'Prior라는 새로운 합성 사전 학습 분포 생성 방법을 제안합니다. O'Prior은 계층적 SCM 기반 메타 생성기, 이질적인 변수 및 결측, 타겟 변환 등을 포함하는 모듈식 현실성 엔진, 혼란 변수 및 지원-쿼리 불일치를 주입하는 스트레스 모듈, 그리고 커리큘럼 기반의 안전한 생성 프로토콜을 통해 실제 데이터의 복잡성과 불규칙성을 반영하는 합성 데이터를 생성합니다.

🔑 시사점 및 한계

•

테이블 데이터 파운데이션 모델의 성능은 사전 학습 데이터의 합성 분포 설계에 크게 좌우되며, 특히 현실적인 불규칙성과 실패 모드를 포함하는 것이 중요하다.

•

제안된 O'Prior 방법론은 다양한 구성 요소의 조합을 통해 실제 데이터의 복잡성을 효과적으로 모사하여 다운스트림 태스크의 정확도와 견고성을 향상시킨다.

•

O'Prior의 각 구성 요소(메커니즘 다양성, 현실성 조합, 변화 인지 스트레스)는 독립적으로 성능 향상에 기여하며, 서로 대체될 수 없는 고유한 역할을 수행한다.

PDF 보기

Made with Slashpage