ImpliRet est un nouveau benchmark conçu pour surmonter les limites des systèmes de recherche existants. Alors que les benchmarks existants se concentrent sur le traitement des requêtes, ImpliRet évalue la précision de la recherche en utilisant les informations implicites (relations temporelles, arithmétiques et de bon sens) des documents. Il est conçu pour trouver la bonne réponse uniquement en comprenant les informations implicites du document, ce qui nécessite des connaissances temporelles, arithmétiques et de bon sens, même pour les requêtes simples. Lors de l'évaluation de divers récupérateurs clairsemés et denses, nous avons constaté que tous les modèles présentaient des difficultés, le meilleur score nDCG@10 n'atteignant que 14,91 %. Le modèle à contexte long incluant GPT-4-mini affiche également une faible performance de 55,54 %, ce qui montre que le raisonnement côté document reste une tâche difficile.
