본 논문은 표 형태 데이터에서 기존의 Gradient-boosted decision trees의 우위에 도전하는 In-Context Learning(ICL)을 사용하는 표 형태 기반 모델에 대해 다룹니다. 특히, 기존 모델인 TabPFNv2의 한계점인 대규모 학습 데이터 처리의 어려움을 해결하기 위해 새로운 모델인 TabICL을 제시합니다. TabICL은 최대 60,000개의 샘플로 사전 학습되었으며, 500,000개의 샘플까지 처리할 수 있는 두 단계 아키텍처(열-행 어텐션 메커니즘과 트랜스포머)를 사용합니다. TALENT 벤치마크의 200개 분류 데이터셋에서 TabPFNv2와 비슷한 성능을 보이면서 최대 10배까지 빠른 속도를 제공하며, 다른 접근 방식보다 뛰어난 성능을 보입니다. 특히 10,000개 이상의 샘플을 가진 53개의 데이터셋에서는 TabPFNv2와 CatBoost를 능가하는 성능을 보여 대규모 데이터에 대한 ICL의 잠재력을 입증합니다. 소스 코드와 사전 훈련된 모델은 깃허브에서 공개됩니다.
