Dans cet article, nous proposons MetaSynth, une méthode de génération de données synthétiques permettant d'appliquer des modèles de langage à grande échelle (MLH) à des domaines spécifiques. MetaSynth génère des données synthétiques diversifiées grâce à la collaboration de plusieurs agents LLM experts via des méta-invites. À l'aide de 25 millions de jetons de données synthétiques MetaSynth, nous appliquons avec succès le LLM Mistral-7B-v0.3 aux domaines financier et biomédical, améliorant ainsi les performances spécifiques à chaque domaine sans compromettre les tâches générales. Nous vérifions que les données synthétiques de MetaSynth se rapprochent de la diversité du corpus de pré-apprentissage LMH grâce à sept métriques d'évaluation automatique. Nous démontrons la supériorité de MetaSynth sur les méthodes d'invite de modèles existantes et démontrons qu'une adaptation efficace au domaine est possible avec une petite quantité de données synthétiques diversifiées.
