यह शोधपत्र रिवॉर्ड मॉडल (RM) के __T30461_____ को इंगित करता है, जो बड़े पैमाने पर भाषा मॉडल (LLM) अनुकूलन के लिए आवश्यक है, और इसे दूर करने के लिए एक नया दृष्टिकोण प्रस्तुत करता है। मौजूदा RM में यह समस्या है कि उन्हें निश्चित वरीयता डेटासेट के साथ प्रशिक्षित किया जाता है और वे विभिन्न वास्तविक दुनिया की आवश्यकताओं के अनुकूल नहीं हो सकते हैं। इस शोधपत्र में, हम एक सामान्यीकृत RM का प्रस्ताव करते हैं जो प्राकृतिक भाषा में व्यक्त किए गए रिवॉर्ड सिद्धांतों को गतिशील रूप से समझता है और उनका पालन करता है। इस उद्देश्य के लिए, हम विभिन्न सिद्धांतों के लिए सामान्यीकरण क्षमता का मूल्यांकन करने के लिए एक नया बेंचमार्क RABench विकसित करते हैं, और RewardAnything प्रस्तुत करते हैं, एक नया RM जो स्पष्ट रूप से प्राकृतिक भाषा सिद्धांतों का पालन करने के लिए डिज़ाइन और प्रशिक्षित किया गया है। RewardAnything मौजूदा RM बेंचमार्क पर सर्वश्रेष्ठ प्रदर्शन प्राप्त करता है, और RABench पर नए सिद्धांतों के लिए उत्कृष्ट अनुकूलनशीलता भी दिखाता है। इसके अलावा, RewardAnything को मौजूदा RLHF विधियों के साथ सहजता से एकीकृत किया जा सकता है, और हम एक केस स्टडी के माध्यम से प्रदर्शित करते हैं कि केवल प्राकृतिक भाषा सिद्धांतों का उपयोग करके LLM को स्वचालित रूप से और कुशलतापूर्वक कैसे संरेखित किया जाए।
