본 논문은 기존 표 형태 데이터 학습 평가 방식의 한계를 지적하며, 다차원적 데이터 특성을 고려한 새로운 벤치마크 및 평가 프레임워크인 MultiTab을 제안합니다. MultiTab은 196개의 공개 데이터셋을 표본 크기, 레이블 불균형, 특징 상호작용 등의 주요 데이터 특성에 따라 분류하고, 13개의 대표적인 모델을 평가하여 모델 성능이 데이터 특성에 따라 크게 달라짐을 보여줍니다. 예를 들어, 표본 수준 유사성을 활용하는 모델은 큰 표본 크기 또는 높은 특징 상관관계를 가진 데이터셋에서 우수한 성능을 보이는 반면, 특징 간의 상호 의존성을 인코딩하는 모델은 약한 상관관계를 가진 특징을 가진 데이터셋에서 최고의 성능을 발휘합니다. 이를 통해 귀납적 편향이 항상 의도한 대로 작동하지 않으며, 데이터 특성을 고려한 평가가 모델 동작을 이해하고 개선하는 데 필수적임을 밝힙니다. MultiTab은 보다 원칙적인 모델 설계를 가능하게 하고 특정 데이터 특성에 맞는 모델 선택에 대한 실용적인 지침을 제공합니다. 모든 데이터셋, 코드 및 최적화 로그가 공개적으로 제공됩니다.
