본 논문은 Retrieval-Augmented Generation (RAG)에서 검색 결과를 개선하는 데 사용되는 Language Model (LM) 재순위 지정기의 성능을 평가한 연구입니다. NQ, LitQA2, DRUID 세 가지 데이터셋에서 6가지 LM 재순위 지정기를 BM25 기준과 비교 분석했습니다. 실험 결과, LM 재순위 지정기는 DRUID 데이터셋에서는 BM25 기준을 능가하지 못했으며, BM25 점수 기반의 새로운 분리 지표를 활용하여 어휘적 유사성 부족으로 인한 재순위 지정기 오류를 설명하고 식별했습니다. 또한 LM 재순위 지정기 성능 향상을 위한 다양한 방법을 조사했지만, 이러한 방법은 주로 NQ 데이터셋에서만 효과적이었음을 확인했습니다. 결론적으로, 본 연구는 LM 재순위 지정기의 약점을 밝히고, 더욱 적대적이고 현실적인 데이터셋을 사용한 평가의 필요성을 제시합니다.
