본 연구는 Zhuang et al.이 제안한 대규모 언어 모델(LLM)을 이용한 제로샷 순위 매기기를 위한 Setwise 프롬프팅 방법론에 대한 포괄적인 재현성 및 확장 분석을 제시합니다. 문서 순위 매기기 작업에서 기존의 Pointwise, Pairwise 및 Listwise 접근 방식과 비교하여 효율성과 효과를 평가합니다. 재현 결과는 Zhuang et al.의 연구 결과를 확인하여 Setwise 방법의 계산 효율성과 순위 효과 사이의 절충점을 강조합니다. 이러한 통찰력을 바탕으로 초기 문서 순위를 사전 지식으로 활용하여 불필요한 비교와 불확실성을 줄이고 순위 결과를 개선할 가능성이 높은 후보에 집중하는 새로운 접근 방식인 Setwise Insertion을 제안합니다. 여러 LLM 아키텍처(Flan-T5, Vicuna 및 Llama)에 대한 실험 결과는 Setwise Insertion이 기존 Setwise 방법에 비해 쿼리 시간을 31%, 모델 추론을 23% 줄이고 순위 효과를 약간 향상시키는 것을 보여줍니다. 이러한 결과는 효율적이고 정확한 제로샷 문서 재순위 매기기를 위해 Setwise 프롬프팅에 사전 순위 지식을 통합하는 실용적인 이점을 강조합니다.
