यह शोधपत्र व्यापक सिमुलेशन-आधारित प्रयोगों के माध्यम से मौजूदा काउंटरफैक्टुअल रैंकिंग मॉडल (CLTR) की मज़बूती की जाँच करता है। मौजूदा सिमुलेशन अध्ययनों (एक कमज़ोर बेसलाइन रैंकिंग मॉडल का उपयोग करके, एक सरलीकृत उपयोगकर्ता सिमुलेशन मॉडल का उपयोग करके, और एक निश्चित संख्या में सिंथेटिक क्लिक लॉग उत्पन्न करके) को बेहतर बनाने के लिए, हम अलग-अलग प्रदर्शन वाले बेसलाइन रैंकिंग मॉडल, कई उपयोगकर्ता सिमुलेशन मॉडल और सिंथेटिक सत्रों की अलग-अलग संख्या का उपयोग करके प्रयोग करते हैं। हमारे प्रयोगात्मक परिणाम दर्शाते हैं कि IPS-DCM, DLA-PBM, और UPE मॉडल विभिन्न सिमुलेशन सेटिंग्स में अन्य CLTR मॉडलों से बेहतर प्रदर्शन करते हैं। इसके अलावा, हम पाते हैं कि जब बेसलाइन रैंकिंग मॉडल मज़बूत होता है और प्रशिक्षण सत्रों की संख्या सीमित होती है, तो मौजूदा CLTR मॉडल अक्सर साधारण क्लिक बेसलाइन मॉडल से बेहतर प्रदर्शन करने में विफल रहते हैं, जो इन स्थितियों को संबोधित करने वाले नए CLTR एल्गोरिदम की आवश्यकता का सुझाव देता है।
