Light-Weight Benchmarks Reveal the Hidden Hardware Cost of Zero-Shot Tabular Foundation Models
Created by
Haebom
Category
Empty
저자
Aayam Bansal, Ishaan Gangwani
개요
본 논문은 제로샷 기반 모델(FM)의 테이블 데이터 예측 성능을 분석하고, 하드웨어 사용량(레이턴시, RAM, VRAM)을 측정하는 벤치마크를 제시합니다. Adult-Income, Higgs-100k, Wine-Quality, California-Housing 데이터셋을 대상으로 TabPFN-1.0, TabICL-base와 XGBoost, LightGBM, Random Forest를 비교합니다.
시사점, 한계점
•
시사점:
◦
트리 앙상블 모델은 세 개의 데이터셋에서 FM과 동등하거나 더 높은 정확도를 달성하며, 짧은 레이턴시와 적은 RAM 사용량을 보입니다.
◦
TabICL은 Higgs 데이터셋에서 정확도 향상을 보였지만, 높은 레이턴시와 VRAM 사용량을 필요로 합니다.
◦
TabPFN은 Wine, Housing 데이터셋에서 트리 모델과 유사한 정확도를 보였지만, VRAM 사용량의 한계가 있습니다.
◦
본 연구는 현재 테이블 FM의 하드웨어-정확도 간의 상당한 trade-off를 정량화하고, 향후 효율성 연구를 위한 기초를 제공합니다.
•
한계점:
◦
TabPFN은 Higgs 데이터셋의 전체 데이터를 처리하지 못했습니다.
◦
본 연구는 단일 NVIDIA T4 GPU 환경에서 수행되었으며, 다른 하드웨어 환경에서의 성능은 다를 수 있습니다.
