En este artículo, proponemos un enfoque novedoso, VFedMH (Aprendizaje Federado Vertical para el entrenamiento de Múltiples Modelos Heterogéneos), para resolver los problemas de convergencia y generalización de la optimización causados por modelos locales heterogéneos entre participantes en el aprendizaje distribuido verticalmente (VFL). VFedMH se centra en la agregación de incrustaciones locales del conocimiento de cada participante durante el proceso de propagación hacia adelante. Para proteger los valores de incrustación local de los participantes, proponemos un método ligero de protección de incrustaciones basado en un factor de cegamiento. La parte pasiva inyecta el factor de cegamiento en las incrustaciones locales y las transmite a la parte activa, quien a su vez agrega las incrustaciones locales para obtener incrustaciones de conocimiento global, que posteriormente se transmiten a la parte pasiva. La parte pasiva realiza la propagación hacia adelante en su propia red heterogénea local utilizando las incrustaciones globales. Dado que la parte pasiva no posee las etiquetas de muestra, no puede calcular los gradientes del modelo local localmente, lo cual se soluciona mediante el soporte de la parte activa para el cálculo de los gradientes del modelo heterogéneo local. Cada participante aprende su propio modelo local utilizando los gradientes del modelo heterogéneo, y el objetivo es minimizar el valor de pérdida de cada modelo heterogéneo local. Experimentos exhaustivos demuestran que VFedMH utiliza la optimización heterogénea para entrenar múltiples modelos heterogéneos simultáneamente y supera a algunos métodos de vanguardia.
