Este artículo propone SKA-Bench, un novedoso punto de referencia para evaluar la capacidad de comprensión del conocimiento estructurado (CE) de los modelos lingüísticos a gran escala (LLM). SKA-Bench incluye cuatro tipos de CE: grafos de conocimiento (GC), tablas, GC+texto y tablas+texto, y consta de preguntas, respuestas, unidades de conocimiento positivas y unidades de conocimiento negativas. Para evaluar con precisión la capacidad de comprensión del CE de los LLM, evaluamos cuatro aspectos: robustez al ruido, sensibilidad al orden, capacidad de integración de la información y capacidad de rechazo de la información negativa. Experimentos con ocho LLM representativos revelan que los LLM existentes aún presentan dificultades para comprender el CE, y su rendimiento se ve afectado por factores como la cantidad de ruido, el orden de las unidades de conocimiento y las alucinaciones. El conjunto de datos y el código están disponibles en GitHub.
