यह पत्र इस मुद्दे को संबोधित करता है कि मानव प्रतिक्रिया (RLHF) से सुदृढीकरण सीखने में इनाम मॉडल (RM) के महत्व के बावजूद, मौजूदा अत्याधुनिक ओपन RM अधिकांश मूल्यांकन बेंचमार्क में खराब प्रदर्शन करते हैं। हम मानते हैं कि यह मौजूदा वरीयता डेटासेट की सीमाओं के कारण है, जैसे सीमित दायरा, कृत्रिम रूप से लेबल किया गया डेटा और कठोर गुणवत्ता नियंत्रण की कमी। इसे संबोधित करने के लिए, हम SynPref-40M प्रस्तुत करते हैं, जो 40 मिलियन वरीयता जोड़े से युक्त एक बड़े पैमाने पर वरीयता डेटासेट है। हम दो-चरणीय पाइपलाइन डिजाइन करके डेटा क्यूरेशन करते हैं जो मानव एनोटेशन की गुणवत्ता को AI की मापनीयता के साथ जोड़ती है। इस तरह, मानव सत्यापित एनोटेशन प्रदान करते हैं, और बड़े पैमाने पर भाषा मॉडल मानव मार्गदर्शन में स्वचालित क्यूरेशन करते हैं। स्काईवर्क-रिवॉर्ड-वी2 मानव वरीयता संरेखण, लक्ष्य सटीकता, सुरक्षा, शैली पूर्वाग्रह प्रतिरोध और इष्टतम एन स्केलिंग सहित कई प्रकार की विशेषताओं पर अत्याधुनिक प्रदर्शन प्राप्त करता है। प्रायोगिक परिणाम बताते हैं कि इस अध्ययन की प्रभावशीलता न केवल डेटा आकार के कारण है, बल्कि उच्च गुणवत्ता वाले क्यूरेशन के कारण भी है। स्काईवर्क-रिवॉर्ड-वी2 ओपन रिवॉर्ड मॉडल के क्षेत्र में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है, और यह दर्शाता है कि मानव-एआई क्यूरेशन तालमेल डेटा की गुणवत्ता को बेहतर बनाने में योगदान देता है।
