Dans cet article, nous proposons LoRA-RITE pour pallier le manque d'invariance de translation des optimiseurs existants dans le cadre du réglage fin paramétrique efficace pour l'adaptation de bas rang (LoRA). LoRA-RITE est une méthode de prétraitement matriciel adaptatif qui assure l'invariance de translation tout en maintenant l'efficacité de calcul. Grâce à des analyses théoriques et des expérimentations sur divers modèles et tâches LLM tels que Gemma 2B, 7B et mT5-XXL, nous démontrons que ses performances sont supérieures à celles des optimiseurs existants. Par exemple, en remplaçant Adam par LoRA-RITE dans le réglage fin LoRA sur Gemma-2B, nous obtenons une amélioration de la précision de 4,6 % dans les instructions surnaturelles et de 3,5 % dans les quatre autres benchmarks LLM (HellaSwag, ArcChallenge, GSM8K et OpenBookQA).
