Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

LightRetriever: una arquitectura de recuperación híbrida basada en LLM con inferencia de consultas 1000 veces más rápida

Created by
  • Haebom

Autor

Guangyuan Ma, Yongliang Ma, Xuanrui Gou, Zhenpeng Su, Ming Zhou, Songlin Hu

Describir

Este artículo propone LightRetriever para abordar los problemas de eficiencia en la recuperación de texto basada en modelos de lenguaje a gran escala (LLM). La recuperación actual basada en LLM requiere un esfuerzo computacional significativo para la codificación de consultas, lo que genera ralentizaciones y consumo de recursos. LightRetriever utiliza los LLM a gran escala existentes para la codificación de documentos, pero mejora drásticamente la velocidad al optimizar el proceso de codificación de consultas al nivel de una búsqueda integrada. Los resultados experimentales con una GPU A800 demuestran que la velocidad de codificación de consultas es más de 1000 veces mayor, el rendimiento general de búsqueda es más de 10 veces mayor y el rendimiento de recuperación se mantiene en un promedio del 95 % en diversas tareas.

Takeaways, Limitations

•
Takeaways:
◦
Presentamos LightRetriever, que mejora drásticamente la velocidad y la eficiencia de las búsquedas basadas en LLM.
◦
Minimizar la carga computacional de la codificación de consultas aumenta la aplicabilidad a los sistemas de búsqueda en tiempo real.
◦
Consiga mejoras de velocidad manteniendo un alto rendimiento de búsqueda en grandes conjuntos de datos.
◦
Reduzca el consumo de recursos mediante una codificación de consultas ligera.
•
Limitations:
◦
Dado que se basa en búsquedas incrustadas, la calidad de las incrustaciones puede tener un impacto significativo en el rendimiento de la búsqueda.
◦
No hay garantía de que el método propuesto proporcione el mismo rendimiento para todos los tipos de consultas de búsqueda.
◦
Dado que la codificación de documentos aún utiliza grandes LLM, la complejidad computacional de la codificación de documentos en sí aún puede ser significativa.
◦
Las mejoras de rendimiento de LightRetriever se midieron en un entorno de hardware específico (GPU A800), por lo que el rendimiento puede variar en otros entornos.
👍
Made with Slashpage