TabArena: A Living Benchmark for Machine Learning on Tabular Data
Created by
Haebom
저자
Nick Erickson, Lennart Purucker, Andrej Tschalzev, David Holzmuller, Prateek Mutalik Desai, David Salinas, Frank Hutter
개요
TabArena는 지속적으로 유지 관리되는 최초의 동적 표 형식 데이터 벤치마킹 시스템입니다. 기존 벤치마킹 시스템의 정적이고 업데이트되지 않는 한계를 해결하기 위해, 다양한 데이터셋과 우수한 모델들을 수집하고 대규모 벤치마킹 연구를 통해 공개 리더보드를 구축했습니다. 본 연구는 검증 방법과 하이퍼파라미터 구성의 앙상블이 모델 성능 평가에 미치는 영향을 강조하며, 대규모 시간 할당 및 앙상블 기법을 사용하면 심층 학습 방법이 기울기 부스팅 트리에 근접하거나 능가할 수 있음을 보여줍니다. 또한, 표 형식 데이터 학습에서 앙상블 기법을 통한 최첨단 성능 향상과 개별 모델의 기여도를 분석하고, 공개 리더보드, 재현 가능한 코드, 유지 관리 프로토콜과 함께 TabArena (https://tabarena.ai)를 공개합니다.
시사점, 한계점
•
시사점:
◦
지속적으로 업데이트되는 동적 벤치마킹 시스템을 제공하여 표 형식 데이터 모델의 성능 비교를 위한 표준화된 플랫폼을 구축했습니다.
◦
검증 방법과 하이퍼파라미터 앙상블이 모델 성능 평가에 중요한 영향을 미친다는 것을 밝혔습니다.
◦
대규모 시간 할당과 앙상블 기법을 통해 심층 학습 방법이 기울기 부스팅 트리에 필적하는 성능을 보임을 확인했습니다.
◦
소규모 데이터셋에서는 기반 모델이 우수한 성능을 보입니다.
◦
모델 앙상블이 표 형식 데이터 머신러닝의 최첨단 성능을 향상시키는 것을 보여주었습니다.
•
한계점:
◦
본 연구에서 제시된 데이터셋과 모델의 대표성에 대한 추가적인 검증이 필요할 수 있습니다.
◦
새로운 모델과 데이터셋이 지속적으로 등장함에 따라, TabArena의 유지 관리 및 업데이트에 대한 지속적인 노력이 필요합니다.
