Este artículo propone SKA-Bench, un novedoso banco de pruebas para evaluar la comprensión del conocimiento estructurado (CE) de modelos lingüísticos a gran escala (LLM). SKA-Bench incluye cuatro tipos de CE: grafos de conocimiento (GC), tablas, GC+texto y tablas+texto, y genera instancias compuestas por preguntas, respuestas correctas, unidades de conocimiento positivas y unidades de conocimiento incorrectas mediante un proceso de tres etapas. Para evaluar con mayor profundidad la comprensión del CE de los LLM, ampliamos los cuatro bancos de pruebas fundamentales para evaluar su robustez al ruido, la indiferencia de orden, la integración de información y el rechazo de información negativa. Experimentos con ocho LLM representativos demuestran que los LLM existentes aún presentan dificultades para comprender el conocimiento estructurado, y su rendimiento se ve afectado por factores como la cantidad de ruido, el orden de las unidades de conocimiento y las alucinaciones. El conjunto de datos y el código están disponibles en GitHub.
