यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है। यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है। पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।
नैटिवक्यूए फ्रेमवर्क: एलएलएम को मूल, स्थानीय और रोजमर्रा के ज्ञान के साथ सक्षम बनाना
Created by
Haebom
लेखक
फ़िरोज़ आलम, मोहम्मद अरिद हसन, साहिनुर रहमान लस्कर, मुकाहिद कुटलू, करीम दरविश, शम्मूर अबसार चौधरी
रूपरेखा
यह पत्र बड़े पैमाने पर संसाधनों के विकास की आवश्यकता को संबोधित करता है जो बहुभाषी, क्षेत्रीय और सांस्कृतिक संदर्भों पर ध्यान केंद्रित करते हैं ताकि विविध भाषाओं और कम संसाधन वाले क्षेत्रों में बड़े पैमाने पर भाषा मॉडल (एलएलएम) की सांस्कृतिक पूर्वाग्रह, निष्पक्षता और प्रयोज्यता के बारे में चिंताओं को दूर किया जा सके। इस उद्देश्य के लिए, हम NativQA फ्रेमवर्क का प्रस्ताव करते हैं, जो उपयोगकर्ता-परिभाषित बीज प्रश्नों का लाभ उठाकर और खोज इंजनों से साइट-विशिष्ट रोज़मर्रा की जानकारी प्राप्त करके विविध संस्कृतियों और क्षेत्रों के अनुरूप बड़े पैमाने पर प्रश्न-उत्तर (QA) डेटासेट का निर्माण कर सकता है। 24 देशों, 39 क्षेत्रों और 7 भाषाओं (कम से उच्च संसाधन वाली भाषाओं तक) में किए गए मूल्यांकन से 300,000 से अधिक प्रश्न-उत्तर जोड़े प्राप्त हुए जिनका उपयोग LLM बेंचमार्किंग और आगे के फाइन-ट्यूनिंग के लिए किया जा सकता है। NativQA फ्रेमवर्क सार्वजनिक रूप से उपलब्ध है ( https://gitlab.com/nativqa/nativqa-framework )।