[공지사항]을 빙자한 안부와 근황 
Show more

दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

जनरेटिव एनर्जी एरीना (GEA): वृहद भाषा मॉडल (LLM) मानव मूल्यांकन में ऊर्जा जागरूकता को शामिल करना

Created by
  • Haebom

लेखक

कार्लोस अरियागा, गोंजालो मार्टिनेज, एनेको सेंडिन, जेवियर कोंडे, पेड्रो रेविरिगो

रूपरेखा

यह शोधपत्र बड़े पैमाने के भाषा मॉडल (एलएलएम) के मूल्यांकन की कठिनाइयों और मौजूदा स्वचालित बेंचमार्किंग विधियों (मानव मूल्यांकन के साथ सहसंबंध का अभाव) की सीमाओं की ओर इशारा करता है, और उपयोगकर्ता-भागीदारी वाले खुले मूल्यांकन क्षेत्र, एलएम क्षेत्र, के विकल्प के रूप में एक नए मूल्यांकन क्षेत्र, जनरेटिव एनर्जी एरिना (जीईए) का प्रस्ताव करता है, जिसमें ऊर्जा खपत की जानकारी शामिल होती है। जीईए में, उपयोगकर्ता दो मॉडलों के उत्तरों की तुलना करते हैं और प्रत्येक मॉडल के लिए ऊर्जा खपत की जानकारी के साथ उनका मूल्यांकन करते हैं। प्रारंभिक परिणाम दर्शाते हैं कि अधिकांश प्रश्नों के लिए, उपयोगकर्ता छोटे, अधिक ऊर्जा-कुशल मॉडल को पसंद करते हैं जब उन्हें अपनी ऊर्जा खपत के बारे में पता होता है। इससे पता चलता है कि उच्च-प्रदर्शन वाले बड़े मॉडल की अतिरिक्त लागत और ऊर्जा खपत उपयोगकर्ताओं द्वारा अनुभव की जाने वाली प्रतिक्रिया की गुणवत्ता में सुधार करने में योगदान नहीं करती है।

Takeaways, Limitations

Takeaways:
एलएलएम मूल्यांकन में ऊर्जा खपत पर विचार करने के महत्व पर बल दिया गया।
हमने अनुभवजन्य रूप से प्रदर्शित किया है कि उपयोगकर्ताओं की ऊर्जा धारणा मॉडल चयन को प्रभावित करती है।
प्रदर्शन वृद्धि के लिए अत्यधिक ऊर्जा खपत की अकुशलता के बारे में जागरूकता बढ़ाता है।
जीईए जैसे उपयोगकर्ता-सहभागी मूल्यांकन विधियों की व्यावहारिकता प्रस्तुत करना।
Limitations:
ये जीईए के प्रारंभिक परिणाम हैं तथा अधिक व्यापक शोध की आवश्यकता है।
उपयोगकर्ताओं की ऊर्जा जागरूकता के स्तर और प्राथमिकताओं पर आगे विश्लेषण की आवश्यकता है।
मॉडलों द्वारा ऊर्जा खपत को मापने और व्यक्त करने के तरीके को मानकीकृत करने की समस्या।
ऐसी संभावना है कि किसी विशिष्ट उपयोगकर्ता समूह की राय पक्षपातपूर्ण हो सकती है।
👍