A diferencia de investigaciones previas sobre compresión rápida para modelos de lenguaje a gran escala (LLM), que se centran principalmente en métodos que sacrifican información semántica, este artículo presenta una técnica de compresión sin pérdidas, independiente de la tarea y similar a LZ77. En dos tareas de evaluación, demostramos que la técnica propuesta reduce la longitud de las secuencias de tokens de entrada en un 27 % y un 18 %, respectivamente. Además, el uso de un LLM basado en transformadores reduce el cálculo de codificación en un 47 % y un 33 %, respectivamente, debido a la naturaleza cuadrática de la atención. Destacamos que las transformaciones de secuencias de tokens son fácilmente reversibles, sin pérdida de información semántica. Evaluamos la técnica propuesta en dos tareas que requieren la preservación precisa de la información semántica/sintáctica y demostramos que los métodos de compresión con pérdidas existentes tienen un rendimiento inferior en estos entornos. La técnica sin pérdidas presenta una pequeña diferencia de rendimiento en comparación con las entradas sin comprimir, y esperamos que esta diferencia de rendimiento desaparezca por completo con modelos más grandes y mayores presupuestos computacionales.
