Cet article propose SKA-Bench, un nouveau benchmark pour évaluer la compréhension des connaissances structurées (CS) des modèles de langage à grande échelle (MLH). SKA-Bench inclut quatre types de MLH : graphes de connaissances (GC), tableaux, GC+texte et tableaux+texte. Il génère des instances composées de questions, de réponses correctes, d'unités de connaissances positives et d'unités de connaissances incorrectes via un pipeline en trois étapes. Pour évaluer plus en détail la compréhension des MLH par les GC, nous étendons les quatre bancs d'essai fondamentaux pour la robustesse au bruit, l'indifférence à l'ordre, l'intégration de l'information et le rejet de l'information négative. Des expériences sur huit MLH représentatifs démontrent que les MLH existants peinent encore à comprendre les connaissances structurées, et que leurs performances sont affectées par des facteurs tels que la quantité de bruit, l'ordre des unités de connaissances et les hallucinations. L'ensemble de données et le code sont disponibles sur GitHub.
