Transformer 기반 모델은 제한된 훈련 데이터 환경에서 기존 모델보다 뛰어난 성능을 보입니다. 사전 훈련된 지식을 활용하여 새로운 도메인에 적응하고, 소수의 훈련 예시만으로도 우수한 성능을 달성합니다 (Few-shot regime). 그러나 이러한 성능 향상은 복잡성과 파라미터 수의 증가를 수반합니다. 이러한 문제점을 해결하기 위해, TabDistill을 제안합니다. TabDistill은 복잡한 Transformer 기반 모델의 사전 훈련된 지식을 더 간단한 신경망으로 증류하여 효과적으로 표 형식 데이터를 분류합니다. 이 프레임워크는 파라미터 효율성을 유지하면서 제한된 훈련 데이터로도 좋은 성능을 보입니다. TabDistill을 통해 얻은 증류된 신경망은 기존 신경망, XGBoost, 로지스틱 회귀와 같은 기존 baseline 모델보다 뛰어난 성능을 보이며, 심지어는 증류 대상이 된 Transformer 기반 모델보다 더 나은 경우도 있습니다.
