ImpliRet은 기존 검색 시스템의 한계를 극복하기 위해 고안된 새로운 벤치마크입니다. 기존 벤치마크들이 질의 처리 방식에 초점을 맞춘 반면, ImpliRet은 문서 내 암시적 정보 (시간적, 산술적, 상식적 관계)를 활용하여 검색의 정확성을 평가합니다. 단순한 질의에도 불구하고, 시간, 산술 연산, 상식적 지식을 필요로 하는 문서의 암시적 정보를 이해해야만 정답을 찾을 수 있도록 설계되었습니다. 다양한 sparse 및 dense retriever들을 평가한 결과, 최고 nDCG@10 점수가 14.91%에 불과할 정도로 모든 모델들이 어려움을 겪는 것을 확인했습니다. GPT-4-mini를 포함한 장문맥 모델 또한 55.54%의 낮은 성능을 보이며, 문서 측면의 추론이 여전히 어려운 과제임을 보여줍니다.
