Este artículo explora la cuantificación posterior al entrenamiento (PTQ), un método práctico de compresión para abordar los problemas de tamaño que surgen durante el despliegue de modelos de lenguaje a gran escala (LLM). Observamos que estudios previos no han logrado proporcionar una comprensión integral del impacto de la PTQ y las leyes de escala de los modelos cuantificados. Exploramos experimentalmente las leyes de escala jerárquica en diversas tareas. Descomponemos el conocimiento en LLM en habilidades de memorización y explotación y desarrollamos un marco cuantitativo integrado que abarca el tamaño del modelo, el ancho de bits efectivo, el tamaño del conjunto de calibración y el tamaño del grupo. Nuestros resultados revelan que la memorización del conocimiento es significativamente más sensible a los cambios en el ancho de bits efectivo, el tamaño del conjunto de calibración y el tamaño del modelo que la explotación del conocimiento. Estos hallazgos proporcionan una comprensión granular del impacto de la PTQ y ofrecen orientación para desarrollar estrategias de cuantificación conscientes del conocimiento que preserven mejor las funciones cognitivas objetivo.
