दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

संदर्भ से बाहर का अपहरण: एलएलएम पूर्व प्रशिक्षण डेटा में घोषणात्मक तथ्यों का लाभ उठाकर प्रक्रियात्मक डेटा के बारे में अनुमान लगाते हैं

Created by
  • Haebom

लेखक

सोहैब इमरान, रॉब लैम्ब, पीटर एम. एटकिंसन

रूपरेखा

यह शोधपत्र जांच करता है कि क्या बड़े पैमाने पर भाषा मॉडल (एलएलएम) अपने प्रशिक्षण डेटा में जानकारी के बारे में अनुमान लगा सकते हैं। विशेष रूप से, हम आउट-ऑफ-कॉन्टेक्स्ट अपहरण पर ध्यान केंद्रित करते हैं, प्रशिक्षण डेटा में मौजूद प्रासंगिक जानकारी का उपयोग करके किसी अवलोकन के लिए सबसे प्रशंसनीय स्पष्टीकरण का अनुमान लगाने की क्षमता। शोधकर्ताओं ने चैटबॉट्स के साथ बातचीत के उदाहरणों को छोड़कर, काल्पनिक चैटबॉट्स के नामों और व्यवहार संबंधी विवरणों के साथ एलएलएम को प्रशिक्षित किया। उन्होंने पाया कि ओपनएआई का जीपीटी -4 चैटबॉट की विशिष्ट प्रतिक्रियाओं को देखने के बाद उसका नाम सटीक रूप से अनुमान लगा सकता है। इसके अलावा, जब चैटबॉट के व्यवहार संबंधी विवरणों के साथ पूर्व-प्रशिक्षण दिया गया, तो जीपीटी -4 ने प्रदर्शित किया कि यह बार-बार प्रशिक्षण के माध्यम से चैटबॉट के विशिष्ट व्यवहारों को बेहतर ढंग से पकड़ सकता है।

Takeaways, Limitations

Takeaways:
हम यह प्रदर्शित करते हैं कि एलएलएम अनुमान लगाने के लिए प्रशिक्षण डेटा के भीतर की जानकारी का उपयोग कर सकता है।
एलएलएम की स्थितिजन्य जागरूकता क्षमताओं में सुधार की संभावना का सुझाव देना।
Takeaways प्रदान किया गया, जो AI सुरक्षा अनुसंधान के लिए महत्वपूर्ण है।
पूर्व शिक्षा के महत्व पर जोर दें।
Limitations:
प्रायोगिक विषय एक विशिष्ट एलएलएम (जीपीटी-4) और सीमित चैटबॉट डेटा तक सीमित हैं।
संदर्भ से बाहर अनुमान कौशल की सामान्यता पर आगे अनुसंधान की आवश्यकता है।
विभिन्न प्रकार के तर्क और अधिक जटिल स्थितियों पर आगे अनुसंधान की आवश्यकता है।
👍