Dans cet article, nous proposons EigenLoRAx, une technique légère de réglage fin permettant de répondre aux problématiques d'équité en matière d'impact environnemental et d'accessibilité lors du réglage fin des modèles à grande échelle. Elle utilise des adaptateurs de bas rang (LoRA) pré-entraînés pour générer un espace de composantes principales aligné sur les connaissances partagées du domaine et s'adapte rapidement aux nouvelles tâches qui en découlent. Dans les environnements à faibles ressources, l'espace est étendu par l'ajout de vecteurs de base orthogonaux. EigenLoRAx n'apprend que des coefficients légers pour les composantes principales sans nécessiter de réglage fin de l'adaptateur dans son intégralité, ce qui réduit considérablement l'utilisation des paramètres et de la mémoire et améliore l'efficacité de l'apprentissage et de l'inférence. Elle démontre des performances robustes dans divers domaines et tâches, et offre une solution évolutive pour les applications en périphérie, la personnalisation et le déploiement équitable de modèles à grande échelle dans des environnements aux ressources limitées.
