दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

जापानी में एआई परामर्श का मूल्यांकन: प्रेरक साक्षात्कार मानदंडों द्वारा मूल्यांकन किए गए परामर्शदाता, ग्राहक और मूल्यांकनकर्ता की भूमिकाएँ

Created by
  • Haebom

लेखक

कीता किउची, योशिकाज़ु फुजीमोटो, हिदेयुकी गोटो, टोमोनोरी होसोकावा, मकोतो निशिमुरा, योसुके सातो, इज़ुमी सेज़ई

रूपरेखा

यह अध्ययन जापानी चिकित्सा सेटिंग में तीन परामर्श भूमिकाओं में बड़े पैमाने पर भाषा मॉडल (एलएलएम) के प्रदर्शन का व्यापक मूल्यांकन करने वाला पहला अध्ययन है। हमने एक साथ परामर्शदाता AI सिस्टम (GPT-4-टर्बो, क्लाउड-3-ओपस-SMDP का मूल्यांकन शून्य-शॉट प्रॉम्प्टिंग या संरचित बहु-चरण वार्तालाप प्रॉम्प्टिंग (SMDP), क्लाइंट AI सिमुलेशन और मूल्यांकनकर्ता AI सिस्टम (o3, क्लाउड-3.7-सॉनेट, जेमिनी-2.5-प्रो) का उपयोग करके किया। अनुभवी मानव विशेषज्ञों (n=15) ने प्रेरक साक्षात्कार उपचार अखंडता (MITI) कोडिंग मैनुअल 4.2.1 का उपयोग करके AI-जनित वार्तालापों का मूल्यांकन किया। SMDP के कार्यान्वयन ने शून्य-शॉट प्रॉम्प्टिंग की तुलना में सभी MITI वैश्विक आकलन पर परामर्शदाता AI के प्रदर्शन में उल्लेखनीय रूप से सुधार किया, जिसमें GPT-SMDP और ओपस-SMDP के बीच कोई महत्वपूर्ण अंतर नहीं था। मूल्यांकनकर्ता AI ने परिवर्तन वार्तालापों को सुविधाजनक बनाने में मानव मूल्यांकनकर्ताओं के समान प्रदर्शन किया, भावनात्मक अभिव्यक्ति को प्राथमिकता देना। क्लाइंट एआई सिमुलेशन ने सीमित भावनात्मक सीमा और असामान्य रूप से उच्च अनुपालन दिखाया, जो बेहतर यथार्थवाद की आवश्यकता का संकेत देता है। ये परिणाम गैर-अंग्रेजी एआई-सहायता प्राप्त परामर्श के लिए एक मानक स्थापित करते हैं और उन्नत प्रॉम्प्ट इंजीनियरिंग, संवर्धित खोज निर्माण और लक्ष्य-उन्मुख फ़ाइन-ट्यूनिंग के माध्यम से सुधार के महत्वपूर्ण क्षेत्रों का सुझाव देते हैं, जिसका सांस्कृतिक रूप से संवेदनशील एआई मानसिक स्वास्थ्य उपकरणों के विकास पर महत्वपूर्ण प्रभाव पड़ता है।

Takeaways, Limitations

•
Takeaways:
◦
जापानी भाषा चिकित्सीय सेटिंग में एलएलएम की परामर्श भूमिका प्रदर्शन का पहला व्यापक मूल्यांकन प्रदान करना।
◦
एसएमडीपी प्रॉम्प्टिंग तकनीक परामर्श एआई के प्रदर्शन को बेहतर बनाने में प्रभावी साबित हुई है।
◦
एआई मूल्यांकन प्रणालियों के उपयोग की संभावना और उनकी सीमाओं (अति-अनुमान लगाने की प्रवृत्ति) को प्रस्तुत करना।
◦
मॉडल-विशिष्ट पूर्वाग्रह और क्लाइंट एआई सिमुलेशन में यथार्थवाद की कमी सहित सुधार के क्षेत्रों का सुझाव दें।
◦
सांस्कृतिक रूप से संवेदनशील एआई मानसिक स्वास्थ्य उपकरणों के विकास के लिए महत्वपूर्ण Takeaways प्रस्तुत करना।
•
Limitations:
◦
सीमित भावनात्मक सीमा और ग्राहक एआई सिमुलेशन का अवास्तविक रूप से उच्च अनुपालन।
◦
मूल्यांकन ए.आई. से असंगत मूल्यांकन परिणाम (विशेष रूप से, रखरखाव संवाद में ढील और समग्र गुणवत्ता का अधिक आकलन)।
◦
सीमित नमूना आकार (15 मानव विशेषज्ञ)।
◦
विभिन्न प्रकार के परामर्श और सांस्कृतिक पृष्ठभूमि पर अधिक व्यापक रूप से विचार करने की आवश्यकता है।
👍
Made with Slashpage