En este artículo, proponemos LoRA-RITE para abordar la falta de invariancia de traducción en los optimizadores existentes en el ajuste fino de parámetros eficientes para la adaptación de bajo rango (LoRA). LoRA-RITE es un método de preprocesamiento matricial adaptativo que logra invariancia de traducción manteniendo la eficiencia computacional. Mediante análisis teóricos y experimentos con diversos modelos y tareas LLM como Gemma 2B, 7B y mT5-XXL, demostramos que su rendimiento mejora en comparación con los optimizadores existentes. Por ejemplo, al reemplazar Adam con LoRA-RITE en el ajuste fino de LoRA en Gemma-2B, logramos una mejora de la precisión del 4,6 % en Super-Natural Instructions y del 3,5 % en otros cuatro benchmarks LLM (HellaSwag, ArcChallenge, GSM8K y OpenBookQA).
