Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Modelos de base federados multimodales y multitarea para sistemas de realidad extendida de próxima generación: hacia una inteligencia distribuida que preserva la privacidad en AR/VR/MR

Created by
  • Haebom

Autor

Fardis Nadimi, Payam Abdisarabshali, Kasra Borazjani, Jacob Chakareski, Seyyedali Hosseinalipour

Describir

Este artículo presenta una visión para los modelos federados multimodales y multitarea (M3T) que pueden proporcionar capacidades transformadoras para sistemas de realidad extendida (XR). Proponemos una arquitectura modular para FedFM que integra el poder expresivo de los modelos basados en M3T con los principios de entrenamiento de modelos que preservan la privacidad del aprendizaje federado (FL), incorporando diversos paradigmas de orquestación para el entrenamiento y la agregación de modelos. Nos centramos en los desafíos de codificación de XR que impactan la implementación de FedFM a lo largo de las dimensiones SHIFT: diversidad de sensores y modal, heterogeneidad del hardware y restricciones a nivel de sistema, interacción y personalización implementada, variabilidad de características/tareas, y variabilidad temporal y ambiental. Demostramos la implementación de estas dimensiones en aplicaciones emergentes y anticipadas de sistemas XR y proponemos métricas de evaluación, requisitos de conjuntos de datos y compensaciones de diseño necesarias para el desarrollo de FedFM con capacidad de adaptación a los recursos. Nuestro objetivo es proporcionar una base técnica y conceptual para la inteligencia con capacidad de adaptación al contexto y que preserva la privacidad en sistemas XR de próxima generación.

Takeaways, Limitations

•
Takeaways:
◦
Proponemos una nueva arquitectura para sistemas XR, M3T FedFMs, que ofrece el potencial de mejorar el rendimiento manteniendo la privacidad.
◦
Es posible adoptar un enfoque sistemático definiendo varios factores que afectan el desarrollo del sistema XR en las dimensiones SHIFT.
◦
Presentamos métricas de evaluación, requisitos de conjuntos de datos y compensaciones de diseño necesarias para desarrollar FedFMs que tengan en cuenta los recursos, y brindamos pautas para su implementación práctica.
◦
Establece la base técnica y conceptual para desarrollar inteligencia consciente del contexto y que preserve la privacidad para los sistemas XR de próxima generación.
•
Limitations:
◦
La arquitectura propuesta y las métricas de evaluación permanecen en un nivel conceptual y aún no han sido implementadas ni verificadas en la práctica.
◦
Se necesita más investigación para explorar la aplicabilidad y generalización a varias aplicaciones XR.
◦
Además de la dimensión SHIFT, puede haber otros factores importantes a considerar.
◦
Se necesita una revisión más profunda para determinar la eficacia y la idoneidad de los indicadores de evaluación propuestos.
◦
Faltan planes específicos para crear y utilizar conjuntos de datos reales.
👍
Made with Slashpage