본 논문은 사전 훈련 없이 표 형태의 예측 작업에 제로샷 메타러닝을 수행할 수 있는 적대적 사전 훈련 변환기(APT)를 제시합니다. 이는 Prior-Data Fitted Networks (PFNs)와 TabPFN의 최근 발전을 확장한 것입니다. APT는 기저 데이터 생성 분포를 지속적으로 변경하고 다양한 합성 데이터셋으로 모델에 의도적으로 어려움을 주는 적대적 합성 데이터 에이전트를 사용하여 사전 훈련됩니다. 또한, 임의의 클래스 수를 가진 분류 작업을 처리할 수 있는 혼합 블록 아키텍처를 제안하여 이전의 심층 표 형태 제로샷 학습기의 중요한 약점이었던 클래스 크기 제한 문제를 해결합니다. 실험 결과, 제안된 프레임워크는 클래스 수나 결측값 수와 같은 데이터셋 특징에 대한 필터링 없이 소규모 분류 작업에서 최첨단 성능에 필적하며, 평균 실행 시간은 1초 미만임을 보여줍니다. 분류 및 회귀 작업 모두에서 일반적인 벤치마크 데이터셋 모음에 대한 실험에서 적대적 사전 훈련이 TabPFN의 성능을 향상시켰음을 보여줍니다. 분석 결과, 적대적 합성 데이터 에이전트가 TabPFN의 일반적인 랜덤 생성기보다 더 다양한 데이터를 생성할 수 있음을 보여줍니다. 또한, 제안된 혼합 블록 신경망 설계가 일반화 성능을 향상시키고 사전 훈련 속도를 크게 높였음을 보여줍니다.
