यह शोधपत्र शोर-निरोधन-आधारित जनरेटिव मॉडलों, विशेष रूप से प्रसार और प्रवाह-मिलान एल्गोरिदम की उपलब्धियों पर आधारित है, ताकि जनरेटिव मॉडलों के आउटपुट वितरण को मानव वरीयता, संरचनागत सटीकता और डेटा संपीड़न अनुपात जैसे जटिल उप-उद्देश्यों के साथ संरेखित करने की चुनौतियों का समाधान किया जा सके। मौजूदा सुदृढीकरण अधिगम (RL) फ़ाइन-ट्यूनिंग विधियों की सीमाओं को दूर करने के लिए, हम स्टोकेस्टिक विभेदक समीकरणों और अंतर्निहित पुरस्कार कंडीशनिंग के संदर्भ में प्रसार मॉडलों के लिए RL फ़ाइन-ट्यूनिंग की पुनर्व्याख्या करते हैं। हम सुदृढीकरण अधिगम मार्गदर्शन (RLG) प्रस्तुत करते हैं, जो एक अनुमान-समय विधि है जो एक आधार मॉडल और एक RL फ़ाइन-ट्यून्ड मॉडल के आउटपुट को ज्यामितीय माध्यमों से संयोजित करती है और वर्गीकारक-मुक्त मार्गदर्शन (CFG) लागू करती है। सैद्धांतिक विश्लेषण दर्शाता है कि RLG का मार्गदर्शन मीट्रिक गणितीय रूप से मानक RL उद्देश्यों में KL-नियमन गुणांक को समायोजित करने के बराबर है, व्यापक प्रयोगों से पता चलता है कि RLG विभिन्न आर्किटेक्चर, RL एल्गोरिदम और उप-कार्यों (मानव वरीयता, संरचना नियंत्रण, संपीड़न अनुपात और टेक्स्ट रेंडरिंग सहित) में RL फ़ाइन-ट्यून्ड मॉडलों के प्रदर्शन को लगातार बेहतर बनाता है। इसके अलावा, RLG इंटरपोलेशन और एक्सट्रपलेशन दोनों का समर्थन करता है, जिससे जनरेटिव अलाइनमेंट को नियंत्रित करने में अभूतपूर्व लचीलापन मिलता है। निष्कर्षतः, यह शोधपत्र अनुमान के दौरान प्रसार मॉडल अलाइनमेंट को बेहतर बनाने और नियंत्रित करने के लिए एक व्यावहारिक और सैद्धांतिक रूप से ठोस समाधान प्रस्तुत करता है।
