HCT-QA: A Benchmark for Question Answering on Human-Centric Tables
Created by
- Haebom
Category
Empty
저자
Mohammad S. Ahmad, Zan A. Naeem, Michael Aupetit, Ahmed Elmagarmid, Mohamed Eltabakh, Xiasong Ma, Mourad Ouzzani, Chaoyi Ruan
개요
PDF 파일, 웹 페이지 등 다양한 문서 형식 내의 표 형식 데이터는 정부, 엔지니어링, 과학, 비즈니스 등 다양한 분야에서 널리 사용된다. 이러한 인간 중심 표(HCT)는 높은 비즈니스 가치, 복잡한 레이아웃, 제한된 운영 능력, 그리고 때로는 중요한 통찰력을 위한 유일한 데이터 소스로서의 역할을 수행한다. 하지만 이러한 복잡성으로 인해 전통적인 데이터 추출, 처리 및 쿼리 방식에 상당한 어려움이 발생한다. 기존 해결책은 이러한 표를 SQL 쿼리에 적합하도록 관계형 형식으로 변환하는 데 중점을 두지만, HCT의 다양하고 복잡한 레이아웃을 처리하는 데 한계가 있다. 본 논문은 수천 개의 표에 대한 HCT, 자연어 쿼리 및 관련 답변으로 구성된 광범위한 HCT-QA 벤치마크를 설명한다. 이 데이터 세트는 2,188개의 실제 HCT, 9,835개의 QA 쌍, 4,679개의 합성 표, 67.5K QA 쌍을 포함한다. 다양한 유형의 쿼리 엔진으로 HCT를 처리할 수 있지만, 본 논문에서는 대규모 언어 모델을 잠재적인 엔진으로 사용하여 이러한 표를 처리하고 쿼리하는 능력을 평가한다.
시사점, 한계점
•
시사점:
◦
실제 및 합성 HCT를 포함하는 대규모 HCT-QA 벤치마크를 개발하여 HCT 처리 및 쿼리 연구를 위한 새로운 리소스를 제공한다.
◦
대규모 언어 모델을 사용하여 HCT를 처리하고 쿼리하는 가능성을 탐색한다.
•
한계점:
◦
특정 쿼리 엔진(대규모 언어 모델)에 대한 성능 평가에 초점을 맞추어, 다른 쿼리 엔진과의 비교가 부족하다.
◦
벤치마크 데이터의 생성 및 설계에 대한 자세한 정보가 부족하여, 재현성 및 일반화에 대한 한계가 있을 수 있다.
◦
연구의 구체적인 결과 및 성능에 대한 정량적 분석이 부족할 수 있다.
