Dans cet article, nous présentons ScalaBL, une méthode bayésienne d'adaptation évolutive en basse dimension pour la quantification de l'incertitude dans les modèles de langage à grande échelle (MLH). Les approches bayésiennes existantes basées sur l'apprentissage profond effectuent l'inférence sur les paramètres d'adaptation en basse dimension (LoRA) d'un modèle affiné, mais présentent le problème que les paramètres supplémentaires augmentent avec la taille du LMH. ScalaBL réutilise les paramètres LoRA comme matrices de projection pour effectuer l'inférence bayésienne dans un sous-espace r-dimensionnel et mappe les échantillons de ce sous-espace à l'espace de pondération complet du LMH. Elle apprend tous les paramètres par inférence variationnelle probabiliste, atteignant des performances de pointe avec beaucoup moins de paramètres supplémentaires (environ 1 000) que les méthodes existantes. De plus, nous démontrons qu'elle est évolutive vers le plus grand LMH bayésien à ce jour, avec quatre fois plus de paramètres de base que les travaux précédents.
