सुदृढीकरण अधिगम में, इच्छित क्रिया को दर्शाने वाला एक पुरस्कार फलन निर्दिष्ट करना बहुत कठिन हो सकता है। पुरस्कार अधिगम एक पुरस्कार फलन सीखकर इस समस्या का समाधान करने का प्रयास करता है। हालाँकि, सीखा गया पुरस्कार मॉडल डेटा वितरण में कम त्रुटियों वाली नीतियाँ उत्पन्न कर सकता है, लेकिन फिर बड़े पछतावे उत्पन्न कर सकता है। हम कहते हैं कि ऐसे पुरस्कार मॉडल त्रुटि-पछतावे असंगति से ग्रस्त हैं। त्रुटि-पछतावे असंगति का मुख्य कारण वितरण परिवर्तन है जो आमतौर पर नीति अनुकूलन के दौरान होता है। इस पत्र में, हम गणितीय रूप से दर्शाते हैं कि जहाँ पुरस्कार मॉडल कम सबसे खराब स्थिति वाले पछतावे के लिए पर्याप्त रूप से कम अपेक्षित परीक्षण त्रुटि की गारंटी देता है, वहीं ऐसे यथार्थवादी डेटा वितरण भी हैं जहाँ किसी भी निश्चित अपेक्षित परीक्षण त्रुटि के लिए त्रुटि-पछतावा असंगति हो सकती है। फिर हम दर्शाते हैं कि RLHF जैसी विधियों में सामान्यतः प्रयुक्त नीति नियमन तकनीकों का उपयोग करने पर भी समान समस्याएँ बनी रहती हैं। हमें आशा है कि हमारे परिणाम पुरस्कार मॉडलों को सीखने के बेहतर तरीकों और उनकी गुणवत्ता को विश्वसनीय रूप से मापने के बेहतर तरीकों पर सैद्धांतिक और अनुभवजन्य शोध को प्रोत्साहित करेंगे।
