Dans cet article, nous proposons une nouvelle méthode, Flexora (Adaptation Flexible de Bas Rang), pour résoudre le problème de surapprentissage de la méthode LoRA (Adaptation de Bas Rang) existante et améliorer les performances de sous-tâches spécifiques des modèles de langage à grande échelle (LLM). Flexora sélectionne automatiquement les couches les plus importantes nécessaires au réglage fin afin d'optimiser les performances. Pour ce faire, le problème de sélection des couches est défini comme un problème d'optimisation par hyperparamètres (HPO) et la méthode de différenciation déroulée (UD) est utilisée pour sélectionner les couches optimales. Grâce à des résultats expérimentaux sur divers modèles pré-entraînés et tâches de traitement du langage naturel, Flexora démontre de meilleures performances que les méthodes existantes. De plus, nous fournissons une compréhension complète de Flexora grâce à des résultats théoriques et à diverses études d'ablation.
