Cet article propose un cadre de compression de données et de modèles (DaMoC) qui répond au problème de la sélection rapide du modèle optimal parmi de nombreux modèles de langage à grande échelle (LLM) open source, afin de l'affiner pour des tâches spécifiques. DaMoC comprend deux aspects : les données et le modèle. Au niveau des données, nous classons les méthodes de filtrage des données en trois paradigmes : approches basées sur la distribution, approches basées sur la qualité et approches hybrides. Nous obtenons une compression des jetons en augmentant la densité des jetons clés et optimisons la représentation par une réécriture itérative du texte à l'aide de LLM. Au niveau du modèle, nous utilisons des scores de similarité hiérarchique pour évaluer l'importance de chaque couche, en éliminant les couches de faible importance et en introduisant un paradigme de fusion clairsemée afin de maximiser la préservation des caractéristiques du modèle d'origine. Grâce à des expériences approfondies sur quatre ensembles de données (Q&R médicales, Q&R financières, Q&R générales et compréhension écrite), nous démontrons que la sélection du LLM optimal réduit le temps d'apprentissage d'environ 20 fois.
