Para abordar el problema de los modelos de lenguaje a gran escala (LLM) que sufren una degradación severa del rendimiento en la cuantificación de bits ultrabajos (<2 bits), este artículo propone PTQ1.61, un novedoso método de cuantificación post-entrenamiento (PTQ) de bits ultrabajos que permite la cuantificación de peso de 1.61 bits. Mientras que los métodos existentes utilizan más de 1 bit adicional por peso, PTQ1.61 introduce una máscara estructurada unidimensional basada en activaciones de entrada que utiliza solo un bit adicional insignificante de 0.0002 bits, asignando 4 bits a canales de peso importantes y realiza la binarización en canales no importantes mediante un marco de optimización del factor de escala por bloque. Además, presentamos un novedoso paradigma de preprocesamiento de cuantificación que mitiga las dificultades de la PTQ específica del canal de bits ultrabajos al transformar la distribución de pesos de un modelo pre-entrenado antes de la cuantificación. Los resultados experimentales demuestran que PTQ1.61 logra un rendimiento de última generación en cuantificación de bits ultra bajos.
