इस शोधपत्र में, हम DRAGON (डायनामिक RAG बेंचमार्क ऑन न्यूज़) प्रस्तुत करते हैं, जो रूसी भाषा के लिए पहला डायनेमिक RAG (रिट्रीवल-ऑगमेंटेड जेनरेशन) बेंचमार्क है। DRAGON रूसी समाचारों और सार्वजनिक दस्तावेज़ों के नियमित रूप से अद्यतन किए जाने वाले संग्रह पर आधारित है, और रिट्रीवल और जेनरेशन, दोनों घटकों का एक व्यापक मूल्यांकन प्रदान करता है। यह संग्रह से उत्पन्न ज्ञान ग्राफ़ का उपयोग करके स्वचालित रूप से प्रश्न उत्पन्न करता है, और सबग्राफ़ पैटर्न के आधार पर चार मुख्य प्रश्न प्रकारों को निकालता है। हम एक संपूर्ण मूल्यांकन ढाँचा प्रकाशित करते हैं, जिसमें एक स्वचालित प्रश्न निर्माण पाइपलाइन, मूल्यांकन स्क्रिप्ट (सभी भाषाओं और बहुभाषी परिवेशों में पुन: प्रयोज्य), और बेंचमार्क डेटा, साथ ही सामुदायिक भागीदारी और तुलना को प्रोत्साहित करने के लिए एक सार्वजनिक लीडरबोर्ड शामिल है। यह मौजूदा अंग्रेज़ी-केंद्रित स्थिर RAG बेंचमार्क की सीमाओं को पार करता है और रूसी RAG प्रणालियों के मूल्यांकन के लिए एक संसाधन प्रदान करता है जो वास्तविक दुनिया के परिवेशों की गतिशील प्रकृति को दर्शाता है।
