Dans cet article, nous montrons que les performances d'ajustement fin des modèles linguistiques à grande échelle (LLM) dépendent fortement de la composition du mélange de données d'entraînement, mais que la sélection de la proportion optimale de mélange de données est un processus manuel et heuristique. Par conséquent, nous présentons TASKPGM, un cadre systématique et évolutif qui sélectionne des proportions de tâches continues en minimisant une fonction d'énergie sur un champ aléatoire de Markov (MRF). TASKPGM modélise les relations entre les tâches à l'aide de différences comportementales telles que la divergence Jensen-Shannon et l'information mutuelle ponctuelle calculées à partir de la distribution prédictive de modèles d'ajustement fin à tâche unique. Il fournit des solutions sous forme fermée sous contraintes de groupe et garantit un équilibre entre représentativité et diversité entre les tâches. Il montre des gains de performance empiriques constants sur Llama 2 et Mistral, ainsi que sur des ensembles d'évaluation tels que MMLU et BIGBench, fournissant des informations interprétables sur l'influence des tâches et la composition du mélange.
