यह पत्र इस खोज पर आधारित है कि बड़े पैमाने पर भाषा मॉडल (एलएलएम), जिन्होंने विभिन्न असंरचित पाठ समझ कार्यों पर उत्कृष्ट प्रदर्शन का प्रदर्शन किया है, विशेष प्रशिक्षण के बिना सारणीबद्ध (संरचित) समझ कार्यों को भी कर सकते हैं। हमने विभिन्न संवर्द्धन और गड़बड़ी के तहत विकिपीडिया-आधारित डब्ल्यूटीक्यू, वित्तीय टीएटी-क्यूए और वैज्ञानिक एससीआईटीएबी सहित विभिन्न डोमेन पर एलएलएम का परीक्षण किया। हमने सारणीबद्ध प्रश्न उत्तर (टीक्यूए) की मजबूती पर संदर्भ-आधारित सीखने (आईसीएल), मॉडल आकार, निर्देशात्मक ट्यूनिंग और डोमेन पूर्वाग्रह के प्रभावों की जांच की। जबकि निर्देशात्मक ट्यूनिंग और बड़े, अधिक आधुनिक एलएलएम मजबूत और अधिक मजबूत टीक्यूए प्रदर्शन देते हैं, डेटा संदूषण और विश्वसनीयता के मुद्दे बने हुए हैं, विशेष रूप से डब्ल्यूटीक्यू में। यह सारणीबद्ध डेटा के लिए एलएलएम की पारदर्शिता, सामान्यीकरण और वास्तविक दुनिया की विश्वसनीयता में सुधार करने के लिए संरचना-जागरूक आत्म-ध्यान तंत्र और डोमेन-अनुकूली प्रसंस्करण तकनीकों को विकसित करने की आवश्यकता पर प्रकाश डालता है।
