Cet article met en évidence les défis liés à l'entraînement de modèles de langage polyvalents à grande échelle et propose une approche alternative, s'appuyant sur des modèles experts optimisés pour des tâches ou des domaines spécifiques. Nous présentons une nouvelle méthode, SPECTR, qui construit dynamiquement des modèles experts à chaque pas de temps de l'inférence. SPECTR ne nécessite aucun entraînement supplémentaire et permet des combinaisons de modèles flexibles aux niveaux des jetons et des couches. Les résultats expérimentaux montrent que SPECTR améliore la précision du routage par rapport à d'autres méthodes sans entraînement, améliorant ainsi les performances des tâches dans tous les domaines experts.
