यह अध्ययन, उपयोग-आधारित रचनावाद (UCx) दृष्टिकोण पर आधारित है, यह जांच करता है कि क्या बड़े पैमाने के भाषा मॉडल (LLM) के आंतरिक प्रतिनिधित्व सुविधा-समृद्ध, पदानुक्रमित संरचनाओं को दर्शाते हैं। पायथिया-1.4B मॉडल का उपयोग करते हुए, हम अंग्रेजी डबल-ऑब्जेक्ट (DO) और प्रीपोजिशन-ऑब्जेक्ट (PO) वाक्यांशों के प्रतिनिधित्व का विश्लेषण करते हैं। हम 5,000 वाक्य जोड़े के डेटासेट का लाभ उठाते हैं जिसमें DO या PO के लिए मानव-मूल्यांकित वरीयता व्यवस्थित रूप से भिन्न थी। ज्यामितीय विश्लेषण से पता चलता है कि दो वाक्यांश प्रतिनिधित्वों की पृथक्करणता, जैसा कि ऊर्जा दूरी या जेन्सन-शैनन विचलन द्वारा मापा जाता है, को व्यवस्थित रूप से ढाल वरीयता शक्ति द्वारा संशोधित किया जाता है। यही है, प्रत्येक वाक्यांश के अधिक विशिष्ट उदाहरण सक्रियण स्थान में अधिक विशिष्ट क्षेत्रों पर कब्जा करते हैं
