본 논문은 대규모 언어 모델(LLM)의 표 형식 데이터 추론 능력에 대한 연구를 다룹니다. 기존 연구들의 평가 전략이 현실적인 LLM의 성능을 제대로 반영하지 못하고, 현실적인 표 데이터 변형에 대한 LLM의 강건성에 대한 이해가 부족하다는 점을 지적합니다. 따라서, 일반 목적 LLM이 표 데이터에 대해 실제로 추론할 수 있는지, 그리고 그 능력이 현실 세계의 표 데이터 특징에 얼마나 강건한지, LLM의 분석적 표 쿼리 성능을 어떻게 현실적으로 평가할 수 있는지에 대한 두 가지 질문에 초점을 맞춥니다. 기존 표 추론 벤치마크의 단점을 지적하고, LLM-as-a-judge 절차를 통해 더 신뢰할 수 있는 성능 통찰력을 얻고, LLM의 표 추론 성능의 심각한 부족을 밝힙니다. 실제 데이터의 세 가지 특징(결측값, 중복 엔티티, 구조적 변형)을 반영하여 표 데이터를 확장하고, 실험을 통해 일반 목적 LLM의 표 추론 능력이 이러한 변형에 취약함을 보여줌으로써 현실적인 표 데이터에 대한 강건성 향상의 중요성을 강조합니다.
