La agrupación de incrustaciones de vectores de pérdida (CLoVE) es un novedoso algoritmo para el aprendizaje federado basado en clústeres (CFL). En CFL, los clientes se agrupan de forma natural en clústeres según su distribución de datos, pero identificar estos clústeres es un desafío debido al desconocimiento de las asignaciones de los clientes. CLoVE utiliza incrustaciones de clientes derivadas de las pérdidas del modelo para los datos de los clientes y aprovecha la información de que los clientes de un mismo clúster comparten valores de pérdida similares, mientras que los clientes de diferentes clústeres presentan patrones de pérdida distintos. Basándose en estas incrustaciones, CLoVE puede identificar y separar iterativamente a los clientes de diferentes clústeres y optimizar los modelos específicos de cada clúster mediante la agregación federada. Las principales ventajas de CLoVE sobre los algoritmos CFL existentes son (1) su simplicidad, (2) su aplicabilidad tanto en entornos supervisados como no supervisados, y (3) la ausencia de una inicialización del modelo casi óptima, lo que hace que CLoVE sea más robusto y adecuado para aplicaciones del mundo real. Establecemos límites de convergencia teóricos y demostramos que CLoVE recupera con precisión clústeres con alta probabilidad en una sola ronda y converge al modelo óptimo exponencialmente más rápido en entornos lineales. Experimentos exhaustivos que comparan CLoVE con diversos algoritmos de aprendizaje federado personalizado (CFL) y comunes en diferentes tipos de conjuntos de datos y una amplia gama de entornos sin IID demuestran que CLoVE alcanza precisiones de modelo de vanguardia en diversas tareas de PFL supervisadas y no supervisadas, junto con una recuperación de clústeres altamente precisa en tan solo unas pocas rondas de aprendizaje.