Este artículo presenta la Inicialización Calibrada de LoRA para LLM Cuantizados (CLoQ), un método ampliamente utilizado para el ajuste fino de modelos de lenguaje a gran escala (LLM) para subtareas eficientes en entornos con recursos limitados. Este enfoque aborda los desafíos inherentes a la aplicación de la técnica de Adaptación de Bajo Rango (LoRA) a LLM cuantizados. CLoQ se centra en minimizar las diferencias capa por capa entre el LLM original y el LLM cuantizado durante la fase de inicialización. Aprovecha un pequeño conjunto de datos de calibración para cuantizar LLM preentrenados y determinar los componentes LoRA óptimos para cada capa, estableciendo así una base sólida para el ajuste fino posterior. Una de las contribuciones clave de este estudio es la presentación de nuevos resultados teóricos que permiten la construcción precisa y cerrada de componentes LoRA óptimos. Demostramos experimentalmente la eficacia de CLoQ en varias tareas, incluida la generación de lenguaje, el razonamiento aritmético y el razonamiento de sentido común, demostrando su rendimiento superior sobre los métodos de ajuste fino de LoRA existentes para LLM cuantificados, particularmente en anchos de bits ultrabajos.
