Beyond String Matching: Semantic Evaluation of PDF Table Extraction
Author
- Haebom
Category
Empty
저자
Pius Horn, Janis Keuper
💡 개요
본 논문은 PDF에서 테이블을 추출하는 기존 평가 방식이 내용의 의미적 동등성을 제대로 포착하지 못하는 문제를 해결하고자 합니다. 이를 위해 실제 arXiv 논문에서 추출한 테이블의 복잡성과 다양성을 반영한 합성 PDF과 정확한 LaTeX 기반 정답을 활용하는 벤치마킹 프레임워크를 제안합니다. 핵심 방법론으로 LLM을 평가자로 활용하여 의미론적 테이블 평가를 수행하며, 이는 기존 방식보다 인간의 판단과 훨씬 높은 상관관계를 보입니다.
🔑 시사점 및 한계
•
기존 규칙 기반 평가 지표(TEDS, GriTS)의 한계를 넘어, LLM을 활용한 의미론적 평가가 인간의 판단과 높은 일관성을 보임을 입증했습니다.
•
합성 데이터를 사용한 벤치마킹 프레임워크를 통해 PDF 테이블 추출 작업의 재현 가능하고 확장 가능한 평가 방법론을 제시했습니다.
•
21개의 최신 PDF 파서 성능을 평가하여 실질적인 테이블 데이터 추출을 위한 파서 선택에 실질적인 가이드라인을 제공합니다.
•
LLM 기반 평가의 비용 효율성 및 대규모 적용 가능성에 대한 추가 연구가 필요합니다.
