Pour répondre à la demande croissante de systèmes d'IA embarqués performants et intelligents, cet article propose MoSE, une nouvelle méthode d'expertise mixte (MoE). Pour relever les défis des modèles MoE existants, qui nécessitent des données d'entraînement massives et des processus d'optimisation complexes, MoSE imite les processus d'apprentissage et d'inférence humains, en effectuant un apprentissage compétence par compétence, étape par étape. Il facilite l'apprentissage compétence par compétence en définissant et en annotant des compétences spécifiques, permettant aux experts d'identifier les compétences requises pour divers scénarios et tâches d'inférence. Il construit un ensemble de données de compétences hiérarchique et pré-entraîne les routeurs pour favoriser l'inférence étape par étape, intégrant des tâches auxiliaires telles que la perception-prédiction-planification pour la conduite autonome (DA) et la planification de haut et bas niveaux pour les robots en une seule passe, sans surcharge de calcul supplémentaire. Il permet de mettre à l'échelle efficacement diverses expertises avec moins de 3 milliards de paramètres faiblement activés, surpassant les modèles existants pour l'inférence de cas extrêmes pour la conduite autonome et les tâches d'inférence robotique avec moins de paramètres (moins de 40 %).
