본 논문은 웹 데이터 레코드 추출 방법의 효과적인 평가를 위한 새로운 평가 프레임워크를 제시합니다. 기존의 알고리즘 기반 기법과 대규모 언어 모델(LLM) 기반 기법 간의 공정한 비교를 어렵게 만드는 정적이고 도메인 특정 벤치마크 및 불투명한 점수 매기기 관행의 문제점을 해결하기 위해, 임의의 MHTML 스냅샷으로부터 평가 데이터셋을 생성하고, XPath 기반의 감독 라벨을 주석하고, 구조 인식 메트릭을 사용하여 일관된 점수 매기기를 수행하는 프레임워크를 제안합니다. 특히 텍스트 환각을 방지하고 위치 환각만 평가하며, LLM 입력을 최적화하기 위한 전처리 전략(HTML 슬리밍, 계층적 JSON, 평면 JSON)도 포함합니다. 또한, DOM 구조 변환 및 콘텐츠 수정을 통해 공개적으로 사용 가능한 합성 데이터셋을 생성하여 결정적 휴리스틱 알고리즘과 상용 LLM을 다양한 입력 형식에서 벤치마킹하였습니다. 벤치마킹 결과, 평면 JSON 입력이 다른 입력 형식(슬리밍된 HTML, 계층적 JSON)에 비해 LLM의 추출 정확도(F1 점수 0.9567)를 높이고 환각을 최소화함을 보여줍니다. 이 연구는 엄격한 벤치마킹을 위한 표준화된 기반을 마련하여 웹 데이터 레코드 추출 분야의 발전에 기여합니다.
