इस शोधपत्र में, हम जांच करते हैं कि कैसे BERT, एक ट्रांसफॉर्मर-आधारित भाषा मॉडल, निर्माण व्याकरण के सिद्धांत के आधार पर अंग्रेजी NPN (संज्ञा-पूर्वसर्ग-संज्ञा) वाक्यांशों (जैसे, आमने-सामने, दिन-प्रतिदिन) का प्रतिनिधित्व करता है। NPN वाक्यांश बहुअर्थी विशेषताओं वाले अपेक्षाकृत दुर्लभ वाक्यांश हैं। हम एक अर्थपूर्ण रूप से एनोटेट किए गए कॉर्पस डेटासेट (त्रुटि शब्दों सहित) का निर्माण करते हैं और इसका उपयोग एक जांच करने वाले क्लासिफायर को प्रशिक्षित करने और उसका मूल्यांकन करने के लिए करते हैं जो BERT के प्रतिनिधित्व की खोज करता है। प्रायोगिक परिणाम दिखाते हैं कि BERT एम्बेडिंग में NPN वाक्यांशों के अर्थ का प्रतिनिधित्व करने वाली जानकारी होती है और इसमें सरल सतही वाक्यविन्यास या शाब्दिक संकेतों से परे NPN वाक्यांशों के बारे में निहित ज्ञान होता है। विशेष रूप से, हमने आकृति विज्ञान के प्रति संवेदनशीलता की भी पुष्टि की, जिसके परिणामस्वरूप वे शब्द क्रम को कृत्रिम रूप से बदलने पर NPN वाक्यांशों के रूप में पहचाने जाने में विफल हो जाते हैं।
