Cet article présente l'initialisation LoRA calibrée pour les LLM quantifiés (CLoQ), une méthode largement utilisée pour affiner les modèles de langage à grande échelle (LLM) afin d'optimiser les sous-tâches dans des environnements aux ressources limitées. Cette approche répond aux défis inhérents à l'application de la technique d'adaptation de bas rang (LoRA) aux LLM quantifiés. CLoQ vise à minimiser les différences couche par couche entre le LLM d'origine et le LLM quantifié pendant la phase d'initialisation. Elle exploite un petit jeu de données d'étalonnage pour quantifier les LLM pré-entraînés et déterminer les composants LoRA optimaux pour chaque couche, établissant ainsi une base solide pour l'affinement ultérieur. L'une des contributions clés de cette étude est la présentation de nouveaux résultats théoriques permettant la construction précise et fermée de composants LoRA optimaux. Nous démontrons expérimentalement l'efficacité de CLoQ dans diverses tâches, notamment la génération de langage, le raisonnement arithmétique et le raisonnement de bon sens, démontrant ses performances supérieures par rapport aux méthodes de réglage fin LoRA existantes pour les LLM quantifiés, en particulier à des largeurs de bits ultra-faibles.
