Cet article examine les techniques d'assemblage pour les modèles linguistiques à grande échelle (LLM) basées sur des transformateurs pré-entraînés génératifs (GPT). Les LLM individuels produisent souvent des résultats incohérents et présentent des biais, ce qui limite leur capacité à représenter adéquatement divers modèles linguistiques. De plus, de nombreux LLM puissants sont à code source fermé, ce qui limite leurs applications industrielles en raison de préoccupations liées à la confidentialité des données. Fort de leur succès en génération de texte, cet article examine les techniques d'ensemble LLM pour la génération de code et analyse leurs capacités en les classant en sept approches clés : fusion pondérée, fusion de connaissances, mixage d'experts, ensemble de récompenses, ensemble de sorties, routage et cascade. Nous soulignons leurs principaux avantages, notamment une meilleure représentation de la diversité, une meilleure qualité de sortie et une flexibilité d'application accrue. Cette approche facilite la sélection de modèles pour des tâches pratiques et pose les bases de l'extension des stratégies d'ensemble aux LLM multimodaux.
