Cet article propose LightRetriever pour résoudre les problèmes d'efficacité de la recherche de texte basée sur des modèles de langage à grande échelle (LLM). Les méthodes de recherche basées sur les LLM actuelles nécessitent un effort de calcul important pour l'encodage des requêtes, ce qui entraîne des ralentissements et une consommation de ressources. LightRetriever utilise les LLM à grande échelle existants pour l'encodage des documents, mais améliore considérablement la vitesse en simplifiant le processus d'encodage des requêtes au niveau d'une recherche intégrée. Les résultats expérimentaux obtenus avec un GPU A800 démontrent que la vitesse d'encodage des requêtes est plus de 1 000 fois plus rapide, le débit de recherche global est plus de 10 fois plus rapide et les performances de recherche sont maintenues à une moyenne de 95 % pour diverses tâches.
