본 논문은 대규모 언어 모델(LLM) 기반의 패시지 재순위 지정(reranking)에서 추론 과정의 영향을 연구합니다. LLM을 이용한 추론 기반의 점별 재순위 지정 모델(ReasonRR)과 표준적인 비추론 기반 모델(StandardRR)을 동일한 조건에서 비교 분석하여, StandardRR이 ReasonRR보다 일반적으로 성능이 우수함을 발견하였습니다. 추가적으로, ReasonRR의 추론 과정을 제거한 모델(ReasonRR-NoReason)을 실험하여, ReasonRR-NoReason이 ReasonRR보다 더 효과적임을 확인했습니다. 이는 LLM의 추론 과정이 극단적인 관련성 점수를 생성하여 패시지의 부분적인 관련성을 고려하지 못하기 때문임을 밝혔습니다. 점별 재순위 지정기의 정확도에 부분적 관련성이 중요한 요소임을 강조합니다.
