Este artículo propone un marco de cooptimización de algoritmos y sistemas, FreeKV, para abordar los desafíos de implementación de modelos de lenguaje a gran escala (LLM) con ventanas de contexto cada vez más grandes. Los contextos extensos de los LLM plantean desafíos de implementación debido al tamaño creciente de la caché KV. Los métodos existentes de compresión, eliminación y búsqueda de caché KV presentan baja precisión o eficiencia. FreeKV optimiza el proceso de selección y recuperación de KV mediante búsqueda predictiva y correcciones precisas. Minimiza la transferencia de datos y mejora la eficiencia mediante un diseño híbrido de KV entre la memoria de la CPU y la GPU, y una recuperación de streaming con doble búfer. Los resultados experimentales demuestran que FreeKV alcanza una velocidad hasta 13 veces superior a la del método de búsqueda KV de mejor rendimiento, manteniendo una precisión prácticamente sin pérdidas en diversos escenarios y modelos.
