Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Modèles de fondation fédérés multimodaux et multitâches pour les systèmes de réalité étendue de nouvelle génération : vers une intelligence distribuée préservant la confidentialité en RA/RV/RM

Created by
  • Haebom

Auteur

Fardis Nadimi, Payam Abdisarabshali, Kasra Borazjani, Jacob Chakareski, Seyyedali Hosseinalipour

Contour

Cet article présente une vision des modèles fédérés multimodaux et multitâches (M3T) (FedFMs) capables d'offrir des capacités transformatrices aux systèmes de réalité étendue (XR). Nous proposons une architecture modulaire pour les FedFMs qui intègre la puissance expressive des modèles M3T aux principes d'apprentissage préservant la confidentialité de l'apprentissage fédéré (FL), en intégrant divers paradigmes d'orchestration pour l'apprentissage et l'agrégation des modèles. Nous nous concentrons sur le codage des défis de la XR qui impactent la mise en œuvre des FedFMs selon les dimensions SHIFT : diversité des capteurs et des modes, hétérogénéité matérielle et contraintes système, interaction et personnalisation implémentée, variabilité des fonctionnalités/tâches, et variabilité temporelle et environnementale. Nous démontrons la mise en œuvre de ces dimensions dans des applications de systèmes XR émergentes et anticipées, et proposons des métriques d'évaluation, des exigences en matière d'ensembles de données et des compromis de conception nécessaires au développement de FedFMs sensibles aux ressources. Notre objectif est de fournir une base technique et conceptuelle pour une intelligence contextuelle préservant la confidentialité dans les systèmes XR de nouvelle génération.

Takeaways, Limitations

•
Takeaways:
◦
Nous proposons une nouvelle architecture pour les systèmes XR, M3T FedFMs, qui offre le potentiel d'améliorer les performances tout en préservant la confidentialité.
◦
Une approche systématique est possible en définissant divers facteurs qui affectent le développement du système XR dans les dimensions SHIFT.
◦
Nous présentons les mesures d’évaluation, les exigences des ensembles de données et les compromis de conception nécessaires au développement de FedFMs sensibles aux ressources, en fournissant des lignes directrices pour une mise en œuvre pratique.
◦
ÉTablit les bases techniques et conceptuelles pour le développement d’une intelligence sensible au contexte et préservant la confidentialité pour les systèmes XR de nouvelle génération.
•
Limitations:
◦
L’architecture et les mesures d’évaluation proposées restent à un niveau conceptuel et n’ont pas encore été mises en œuvre ou vérifiées dans la pratique.
◦
Des recherches supplémentaires sont nécessaires pour explorer l’applicabilité et la généralisabilité à diverses applications XR.
◦
Outre la dimension SHIFT, il peut y avoir d’autres facteurs importants à prendre en compte.
◦
Un examen plus approfondi est nécessaire pour déterminer l’efficacité et la pertinence des indicateurs d’évaluation proposés.
◦
Il existe un manque de plans spécifiques pour la création et l’utilisation d’ensembles de données réels.
👍
Made with Slashpage