본 논문은 기존 역반사적 순위 학습(CLTR) 모델의 강건성을 광범위한 시뮬레이션 기반 실험을 통해 조사합니다. 기존 시뮬레이션 연구의 한계점(약한 기준 순위 모델 사용, 단순화된 사용자 시뮬레이션 모델 사용, 고정된 수의 합성 클릭 로그 생성)을 개선하기 위해, 다양한 성능의 기준 순위 모델, 여러 사용자 시뮬레이션 모델, 그리고 다양한 수의 합성 세션을 사용하여 실험을 수행합니다. 실험 결과, IPS-DCM, DLA-PBM, UPE 모델이 다른 CLTR 모델보다 다양한 시뮬레이션 설정에서 더 나은 강건성을 보이는 것으로 나타났습니다. 또한, 기준 순위 모델이 강력하고 학습 세션 수가 제한적일 때 기존 CLTR 모델은 단순 클릭 기준 모델을 능가하지 못하는 경우가 많다는 것을 발견하였으며, 이는 이러한 조건에 맞는 새로운 CLTR 알고리즘의 필요성을 시사합니다.
