Este artículo presenta MaCP (Proyección de Coseno Adaptativa Mínima pero Poderosa), un novedoso método adaptativo para el ajuste fino de modelos base a gran escala. MaCP busca lograr un rendimiento superior utilizando parámetros y memoria mínimos. Se basa en la idea de aprovechar las propiedades superiores de compresión de energía y descorrelación de la proyección de coseno para mejorar la eficiencia y la precisión del modelo. Específicamente, proyectamos los cambios de peso de la adaptación de baja dimensión en el espacio discreto del coseno, particionamos los cambios de peso en diferentes niveles del espectro discreto del coseno y, a continuación, seleccionamos los componentes de frecuencia más significativos de cada partición. Mediante experimentos en una amplia gama de tareas unimodales (p. ej., comprensión del lenguaje natural, generación de lenguaje natural, resumen de texto) y multimodales (p. ej., clasificación de imágenes, comprensión de vídeo), demostramos que MaCP ofrece consistentemente una precisión superior, una complejidad computacional significativamente menor y menores requisitos de memoria en comparación con las alternativas existentes.
