La compresión en el dominio de la frecuencia ha demostrado ser eficaz para reducir la redundancia en señales espaciales. En este estudio, proponemos una novedosa técnica de compresión de clave-valor (KV) en el dominio de la frecuencia, FreqKV, que permite una expansión eficiente de la ventana de contexto para modelos de lenguaje a gran escala (LLM) basados únicamente en decodificador. Nuestro estudio se basa en la observación clave de que la distribución de energía de la caché KV en el dominio de la frecuencia se concentra principalmente en los componentes de baja frecuencia. Al descartar los componentes de alta frecuencia, logramos una compresión eficiente de la caché KV con mínima pérdida de información. FreqKV comprime iterativamente la caché KV, que crece en el dominio de la frecuencia, a un tamaño fijo, lo que permite al modelo gestionar eficazmente contextos largos. Sin parámetros adicionales ni modificaciones de la arquitectura, FreqKV es aplicable tanto al ajuste fino como a la inferencia. Con un ajuste fino mínimo, el LLM puede aprender a utilizar la caché limitada comprimida en el dominio de la frecuencia y expandir la ventana de contexto. Los experimentos en diversas tareas de modelado y comprensión del lenguaje en contextos largos demuestran la eficiencia y eficacia del método propuesto.
