Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

CLoVE: Aprendizaje federado personalizado mediante la agrupación de incrustaciones de vectores de pérdida

Created by
  • Haebom

Autor

Randeep Bhatia, Nikos Papadis, Murali Kodialam, TV Lakshman, Sayak Chakrabarty

Describir

La agrupación de incrustaciones de vectores de pérdida (CLoVE) es un novedoso algoritmo para el aprendizaje federado basado en clústeres (CFL). En CFL, los clientes se agrupan de forma natural en clústeres según su distribución de datos, pero identificar estos clústeres es un desafío debido al desconocimiento de las asignaciones de los clientes. CLoVE utiliza incrustaciones de clientes derivadas de las pérdidas del modelo para los datos de los clientes y aprovecha la información de que los clientes de un mismo clúster comparten valores de pérdida similares, mientras que los clientes de diferentes clústeres presentan patrones de pérdida distintos. Basándose en estas incrustaciones, CLoVE puede identificar y separar iterativamente a los clientes de diferentes clústeres y optimizar los modelos específicos de cada clúster mediante la agregación federada. Las principales ventajas de CLoVE sobre los algoritmos CFL existentes son (1) su simplicidad, (2) su aplicabilidad tanto en entornos supervisados ​​como no supervisados, y (3) la ausencia de una inicialización del modelo casi óptima, lo que hace que CLoVE sea más robusto y adecuado para aplicaciones del mundo real. Establecemos límites de convergencia teóricos y demostramos que CLoVE recupera con precisión clústeres con alta probabilidad en una sola ronda y converge al modelo óptimo exponencialmente más rápido en entornos lineales. Experimentos exhaustivos que comparan CLoVE con diversos algoritmos de aprendizaje federado personalizado (CFL) y comunes en diferentes tipos de conjuntos de datos y una amplia gama de entornos sin IID demuestran que CLoVE alcanza precisiones de modelo de vanguardia en diversas tareas de PFL supervisadas y no supervisadas, junto con una recuperación de clústeres altamente precisa en tan solo unas pocas rondas de aprendizaje.

Takeaways, Limitations

Takeaways:
Proporciona una nueva solución sencilla y eficaz al problema de las lámparas fluorescentes compactas.
Es aplicable tanto al aprendizaje supervisado como al no supervisado.
Es adecuado para aplicaciones del mundo real, ya que no requiere una inicialización óptima del modelo.
Aseguramos el rendimiento del algoritmo estableciendo límites de convergencia teóricos.
Logre un rendimiento de última generación en una variedad de conjuntos de datos y configuraciones.
Limitations:
El algoritmo específico __T169988_____ no se menciona explícitamente en el artículo. Se requieren más experimentos y análisis para comprender mejor las limitaciones del algoritmo. En particular, se requieren más evaluaciones de rendimiento en conjuntos de datos a gran escala o distribuciones de datos muy complejas.
👍