Este artículo presenta KITAB-Bench, un banco de pruebas integral para mejorar el rendimiento del reconocimiento óptico de caracteres (OCR) en árabe. KITAB-Bench contiene 8809 muestras en 9 dominios principales y 36 subdominios, y abarca diversos tipos de documentos, como texto manuscrito, tablas estructuradas y 21 tipos de gráficos. El artículo demuestra que los modelos de visión y lenguaje de vanguardia (p. ej., GPT-4o, Gemini, Qwen, etc.) superan a los enfoques de OCR existentes (p. ej., EasyOCR, PaddleOCR, Surya, etc.) en un promedio del 60 % en términos de tasa de error de caracteres (CER). Sin embargo, destaca que aún existen limitaciones significativas en ciertas tareas, como la conversión de PDF a Markdown (p. ej., 65 % de precisión para Gemini-2.0-Flash), y señala problemas como fuentes complejas, errores de reconocimiento de dígitos, variaciones en la longitud de las palabras y detección de la estructura de las tablas. KITAB-Bench proporciona un marco de evaluación riguroso para mejorar los métodos de análisis de documentos en árabe y reducir la brecha de rendimiento con las técnicas de OCR en inglés.
