यह शोधपत्र SKA-बेंच का प्रस्ताव करता है, जो बड़े पैमाने के भाषा मॉडल (LLM) की संरचित ज्ञान (SK) समझ के मूल्यांकन हेतु एक नवीन मानक है। SKA-बेंच में चार प्रकार के SK शामिल हैं—ज्ञान ग्राफ़ (KG), तालिकाएँ, KG+पाठ, और तालिकाएँ+पाठ—और यह तीन-चरणीय पाइपलाइन के माध्यम से प्रश्नों, सही उत्तरों, सकारात्मक ज्ञान इकाइयों और गलत ज्ञान इकाइयों से युक्त उदाहरण उत्पन्न करता है। LLM की SK समझ का और अधिक मूल्यांकन करने के लिए, हम शोर के प्रति सुदृढ़ता, क्रम उदासीनता, सूचना एकीकरण और नकारात्मक सूचना अस्वीकृति के लिए चार मूलभूत परीक्षण-स्थलों का विस्तार करते हैं। आठ प्रतिनिधि LLM पर किए गए प्रयोगों से पता चलता है कि मौजूदा LLM अभी भी संरचित ज्ञान समझ के साथ संघर्ष करते हैं, और उनका प्रदर्शन शोर की मात्रा, ज्ञान इकाइयों के क्रम और मतिभ्रम जैसे कारकों से प्रभावित होता है। डेटासेट और कोड GitHub पर उपलब्ध हैं।
