इस शोधपत्र में, हम अध्ययन करते हैं कि इंटरनेट-स्केल नियंत्रण डेटा की कमी के कारण सुदृढीकरण सीखने के एजेंटों को सामान्य बनाने में कठिनाई को दूर करने के लिए दृष्टि-भाषा मॉडल (वीएलएम) की छवि समझने की क्षमता का लाभ उठाकर सुदृढीकरण सीखने में एआई फीडबैक का उपयोग कैसे किया जाए। विशेष रूप से, हम ऑफ़लाइन सुदृढीकरण सीखने पर ध्यान केंद्रित करते हैं, और सबपाथ फ़िल्टरिंग ऑप्टिमाइज़ेशन (SFO) नामक एक नई पद्धति प्रस्तुत करते हैं। SFO पूरे पथ के बजाय उपपथों का उपयोग करके 'पहेली' को हल करता है, गैर-मार्कोव इनाम संकेतों को उत्पन्न करने के लिए VLM के दृश्य फीडबैक का उपयोग करता है, और जटिल RLHF-आधारित विधियों की तुलना में एक सरल लेकिन अधिक प्रभावी फ़िल्टरिंग और भार कार्रवाई प्रतिकृति योजना का उपयोग करता है। विशेष रूप से, सबपाथ फ़िल्टरिंग एक्शन प्रतिकृति (SFBC) एक पिछड़े फ़िल्टरिंग तंत्र को शामिल करके मजबूती में सुधार करता है जो विफलता से पहले उपपथों को हटा देता है।
