यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है। यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है। पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।
क्या एलएलएम भविष्यदर्शी होते हैं? दैनिक समाचारों को भविष्यसूचक मानकर एक सतत मूल्यांकन
Created by
Haebom
लेखक
हुई दाई, रयान तेहान, मेंग्ये रेन
रूपरेखा
इस पत्र में, हम बड़े पैमाने के भाषा मॉडल (LLM) मूल्यांकन बेंचमार्क के __T3206__ को हल करने के लिए दैनिक समाचारों के आधार पर भविष्य की घटनाओं की भविष्यवाणी करने हेतु एक सतत मूल्यांकन पद्धति का प्रस्ताव करते हैं। हम 'डेली ओरेकल' नामक बेंचमार्क पर स्वचालित रूप से उत्पन्न प्रश्न-उत्तर (QA) युग्मों का उपयोग करके LLM के कालिक सामान्यीकरण और भविष्यसूचक क्षमता का मूल्यांकन करते हैं। हमारे परिणाम दर्शाते हैं कि जैसे-जैसे पूर्व-प्रशिक्षण डेटा पुराना होता जाता है, LLM का प्रदर्शन कम होता जाता है, और संवर्धित पुनर्प्राप्ति पीढ़ी (RAG) का उपयोग करने पर भी यह गिरावट बनी रहती है, जो निरंतर मॉडल अद्यतन की आवश्यकता पर बल देता है। कोड और डेटा __T3205_____ में उपलब्ध हैं ।
