कई हालिया अध्ययनों के आधार पर, जो बताते हैं कि साइबर सुरक्षा डेटा की बाढ़ से निपटने के लिए बड़े पैमाने पर भाषा मॉडल (एलएलएम) का उपयोग साइबर खतरा खुफिया (सीटीआई) कार्यों के स्वचालन में सुधार के लिए किया जा सकता है, यह पत्र एक मूल्यांकन पद्धति प्रस्तुत करता है जो सीटीआई कार्यों पर एलएलएम का परीक्षण कर सकता है, साथ ही शून्य-शॉट सीखने, कुछ-शॉट सीखने और ठीक-ट्यूनिंग का उपयोग करते समय उनकी स्थिरता और विश्वास के स्तर को भी माप सकता है। तीन अत्याधुनिक एलएलएम और 350 खतरा खुफिया रिपोर्टों के डेटासेट का उपयोग करते हुए, हम प्रयोग करते हैं और सीटीआई के लिए एलएलएम का उपयोग करने के संभावित सुरक्षा जोखिमों पर नए सबूत प्रदान करते हैं। हम दिखाते हैं कि वे वास्तविक दुनिया की रिपोर्टों पर पर्याप्त रूप से अच्छा प्रदर्शन नहीं करते हैं, असंगत हैं, और अति आत्मविश्वास से ग्रस्त हैं।
