दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

GRADA: प्रतिकूल दस्तावेज़ हमले के विरुद्ध ग्राफ़-आधारित पुनर्रैंकिंग

Created by
  • Haebom

लेखक

जिंगजी झेंग, आर्यो प्रदीप्ता गेमा, गिवोन होंग, जुआनली हे, पास्क्वेले मिनर्विनी, यूचेंग सन, क्यूओंगकाई जू

रूपरेखा

रिट्रीवल ऑगमेंटेड जेनरेशन (RAG) फ्रेमवर्क बाहरी दस्तावेज़ों को रिट्रीव करके LLM की सटीकता में सुधार करता है, लेकिन यह उन प्रतिकूल हमलों के प्रति संवेदनशील है जो रिट्रीवल प्रक्रिया में हेरफेर करते हैं। इस लेख में, हम GRADA का प्रस्ताव करते हैं, जो प्रतिकूल दस्तावेज़ हमलों के लिए एक ग्राफ़-आधारित पुनर्रैंकिंग फ्रेमवर्क है। GRADA का उद्देश्य प्रतिकूल दस्तावेज़ों के प्रभाव को कम करते हुए रिट्रीवल गुणवत्ता बनाए रखना है। हमने पाँच LLM और तीन डेटासेट—GPT-3.5-Turbo, GPT-4o, Llama3.1-8b, Llama3.1-70b, और Qwen2.5-7b—पर प्रयोग किए और नेचुरल क्वेश्चन डेटासेट पर हमले की सफलता दर में 80% तक की कमी हासिल की।

Takeaways, Limitations

Takeaways: GRADA दर्शाता है कि यह RAG सिस्टम की प्रतिकूल हमलों के प्रति संवेदनशीलता को प्रभावी ढंग से कम कर सकता है। इसके प्रदर्शन को विभिन्न LLM और डेटासेट पर सत्यापित किया गया है। नेचुरल क्वेश्चन डेटासेट पर, यह सटीकता में गिरावट को न्यूनतम रखते हुए हमले की सफलता दर को उल्लेखनीय रूप से कम करता है।
Limitations: वर्तमान में, इसका मूल्यांकन केवल एक विशिष्ट डेटासेट और LLM पर किया गया है। इसलिए, अन्य डेटासेट और LLM पर इसके सामान्यीकरण के लिए और अधिक शोध की आवश्यकता है। GRADA के बेहतर प्रदर्शन में योगदान देने वाले कारकों का अधिक विस्तृत विश्लेषण आवश्यक हो सकता है। विभिन्न प्रकार के प्रतिकूल हमलों के विरुद्ध GRADA की मज़बूती का भी आगे मूल्यांकन किया जाना चाहिए।
👍