En este artículo, proponemos SubZero, un método de optimización con uso eficiente de memoria para el ajuste fino de modelos lingüísticos a gran escala (LLM). Los métodos de optimización de orden cero existentes presentan el problema de que la varianza de la estimación del gradiente aumenta linealmente con la dimensión del modelo, y SubZero resuelve este problema mediante perturbaciones de baja dimensión. SubZero mejora el rendimiento del entrenamiento, reduce el consumo de memoria y converge más rápido que los métodos de optimización de orden cero existentes. Mediante resultados experimentales, verificamos la superioridad de SubZero en diversas tareas de modelado lingüístico y divulgamos el código fuente.
