Cet article présente une méthode de construction d'adaptateurs LoRA à partir d'une bibliothèque de modules pré-entraînés, utilisant un apprentissage par transfert efficace en termes de paramètres. Les approches existantes reposent sur des heuristiques de recherche simples ou un moyennage uniforme, qui négligent la structure latente des relations entre les tâches dans l'espace de représentation. Cet article propose un nouveau cadre pour la réutilisation des adaptateurs, formulant la construction d'adaptateurs comme un problème de reconstruction parcimonieuse tenant compte de la géométrie. Plus précisément, nous représentons chaque tâche comme un vecteur prototype latent dérivé de l'encodeur d'un modèle de base, et approximons le prototype de la tâche cible comme une combinaison linéaire parcimonieuse des prototypes de référence récupérés, sous un objectif d'optimisation régularisé en ℓ1. Les pondérations combinées résultantes sont utilisées pour fusionner les adaptateurs LoRA correspondants afin de générer un adaptateur composite adapté à la tâche cible. Cette formulation préserve non seulement la structure géométrique locale de la variété de représentation des tâches, mais sélectionne également un ensemble minimal d'adaptateurs pertinents, favorisant ainsi l'interprétabilité et une réutilisation efficace. Nous démontrons l'efficacité de cette approche dans plusieurs domaines, notamment la segmentation d'images médicales, la génération de rapports médicaux et la synthèse d'images. Les résultats expérimentaux mettent en évidence les avantages de la combinaison de la recherche et de l'optimisation prenant en compte la géométrie latente pour une généralisation à zéro coup améliorée.
