दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

क्या वे उन्हें समझते हैं? बड़े भाषा मॉडल में नॉनबाइनरी सर्वनाम हैंडलिंग पर एक अद्यतन मूल्यांकन

작성자
  • Haebom

लेखक

ज़ुशुओ तांग, यी डिंग, झेंगयी यांग, यिन चेन, योंग्रुई गु, वेन्के यांग, मिंगचेन जू, शिन काओ, योंगफेई लियू, वेन्जी झांग

रूपरेखा

यह शोधपत्र MISGENDERED+ प्रस्तुत करता है, जो बड़े पैमाने के भाषा मॉडल (LLM) में लिंग-तटस्थ और उभरते सर्वनाम प्रयोग की निष्पक्षता और समावेशिता के मूल्यांकन हेतु एक विस्तारित मानक है। मौजूदा MISGENDERED मानक की सीमाओं को पार करते हुए, हम पाँच प्रतिनिधि LLM—GPT-4o, क्लाउड 4, डीपसीक-V3, क्वेन टर्बो, और क्वेन 2.5—का मूल्यांकन विभिन्न सेटिंग्स के अंतर्गत करते हैं, जिनमें ज़ीरो-शॉट, फ्यू-शॉट और लिंग पहचान अनुमान शामिल हैं। मूल्यांकन के परिणाम पिछले अध्ययनों की तुलना में बाइनरी और लिंग-तटस्थ सर्वनामों के लिए बेहतर सटीकता प्रदर्शित करते हैं, लेकिन उभरते सर्वनाम और व्युत्क्रम अनुमान कार्यों में असंगतताएँ दर्शाते हैं। यह लिंग पहचान-जागरूक अनुमान क्षमताओं में निरंतर सुधार की आवश्यकता को उजागर करता है।

Takeaways, Limitations

Takeaways:
MISGENDERED+ बेंचमार्क प्रस्तुत है, जो मौजूदा बेंचमार्क की सीमाओं को पार करता है।
नवीनतम एलएलएम में लिंग-तटस्थ और द्विआधारी सर्वनामों को संभालने की बेहतर क्षमता की पुष्टि।
यौन पहचान पर विचार करते हुए तर्क क्षमता में सुधार के लिए अनुसंधान दिशा-निर्देश सुझाना।
Limitations:
नये सर्वनाम और विपरीत अनुमान कार्यों में सटीकता का अभाव।
लिंग पहचान को ध्यान में रखते हुए तर्क क्षमता में निरंतर सुधार की आवश्यकता है।
👍