Este artículo aborda un sistema de comunicación a gran escala que mejora la comprensión del entorno y la precisión en la toma de decisiones mediante la colaboración inteligente entre dispositivos de borde que recopilan datos sensoriales de diversas modalidades. Los algoritmos de aprendizaje federado (FL) existentes generalmente consideran un conjunto de datos de modalidad única, requieren la misma arquitectura de modelo y no aprovechan la rica información inherente a los datos multimodales, lo que limita su aplicabilidad a escenarios del mundo real con diversas modalidades y diversas capacidades de cliente. Para abordar este problema, este artículo propone Sheaf-DMFL, un novedoso marco de aprendizaje multimodal distribuido que aprovecha la teoría de capas para mejorar la colaboración entre dispositivos con diversas modalidades. Cada cliente tiene un conjunto de codificadores de características locales para diferentes modalidades, y sus salidas se concatenan antes de pasar por las capas específicas de la tarea. Los codificadores para la misma modalidad se entrenan conjuntamente en todos los clientes, mientras que la arquitectura basada en capas captura las correlaciones inherentes entre las capas específicas de la tarea de los clientes. Para mejorar aún más la capacidad de aprendizaje, proponemos un algoritmo mejorado, Sheaf-DMFL-Att, que captura correlaciones entre diferentes modalidades mediante la coordinación del mecanismo de atención en cada cliente. Proporcionamos un riguroso análisis de convergencia de Sheaf-DMFL-Att para establecer garantías teóricas. Simulaciones exhaustivas de predicciones realistas de bloqueo de enlaces y escenarios de formación de haz de ondas milimétricas demuestran la superioridad del algoritmo propuesto en estos sistemas de comunicación inalámbrica heterogéneos.
