यह शोधपत्र ऑफ़लाइन डेटासेट का उपयोग करके ऑनलाइन सुदृढीकरण अधिगम (RL) के साथ अभिव्यंजक नीतियों को सीखने और उनके सूक्ष्म समायोजन की समस्या का समाधान करता है। अभिव्यंजक नीतियाँ (जैसे प्रसार और प्रवाह-मिलान नीतियाँ) लंबी शोर-निरोध श्रृंखलाओं द्वारा पैरामीटरित होती हैं, जिससे स्थिर मान को अधिकतम करना मुश्किल हो जाता है। इस समस्या के समाधान के लिए, यह शोधपत्र एक ऐसी ऑनलाइन RL नीति के निर्माण की विधि प्रस्तावित करता है जो अभिव्यंजक नीति के साथ मान को सीधे अनुकूलित करने के बजाय Q-मान को अधिकतम करती है। विशेष रूप से, हम 'अभिव्यंजक नीति अनुकूलन (EXPO)' नामक एक एल्गोरिथम प्रस्तावित करते हैं जो एक स्थिर अनुकरण अधिगम उद्देश्य वाली पूर्व-प्रशिक्षित अभिव्यंजक आधार नीति और एक हल्की गाऊसी संपादन नीति का उपयोग करता है जो मान वितरण को बढ़ाती है। EXPO सीखी गई संपादन नीति के साथ आधार नीति से नमूना ली गई क्रियाओं को अनुकूलित करता है, और नमूनाकरण और टेम्पोरल लैग (TD) बैकअप, दोनों के लिए आधार और संपादित क्रियाओं में से मान को अधिकतम करने वाली क्रिया का चयन करता है।
