본 논문은 아랍어 OCR(광학 문자 인식)의 성능 향상을 위한 종합적인 벤치마크인 KITAB-Bench를 제시합니다. KITAB-Bench는 9개 주요 도메인과 36개 하위 도메인에 걸쳐 8,809개의 샘플을 포함하며, 필기체 텍스트, 구조화된 표, 21가지 유형의 차트 등 다양한 문서 유형을 다룹니다. 논문은 최신 Vision-Language 모델(GPT-4o, Gemini, Qwen 등)이 기존 OCR 접근 방식(EasyOCR, PaddleOCR, Surya 등)보다 문자 오류율(CER) 측면에서 평균 60% 향상된 성능을 보임을 보여줍니다. 하지만 PDF에서 Markdown으로의 변환과 같은 특정 작업에서는 여전히 상당한 한계(예: Gemini-2.0-Flash의 65% 정확도)가 존재함을 강조하며, 복잡한 글꼴, 숫자 인식 오류, 단어 길이 변화, 표 구조 감지 등의 문제점을 지적합니다. KITAB-Bench는 아랍어 문서 분석 방법 개선과 영어 OCR 기술과의 성능 격차 해소를 위한 엄격한 평가 프레임워크를 제공합니다.
