본 논문은 확장 현실(XR) 시스템을 위한 변혁적인 기능을 제공할 수 있는 다중 모드 다중 작업(M3T) 연합 기반 모델(FedFMs)의 비전을 제시합니다. M3T 기반 모델의 표현 능력과 연합 학습(FL)의 개인 정보 보호 모델 훈련 원칙을 통합하는 FedFMs의 모듈식 아키텍처를 제시하며, 모델 훈련 및 집계를 위한 다양한 조정 패러다임을 포함합니다. SHIFT 차원(센서 및 모드 다양성, 하드웨어 이종성 및 시스템 수준 제약, 상호 작용 및 구현된 개인화, 기능/작업 가변성, 시간성 및 환경 가변성)에 따라 FedFMs 구현에 영향을 미치는 XR 과제의 명세화를 중심으로 다룹니다. 새롭게 등장하고 예상되는 XR 시스템 응용 프로그램에서 이러한 차원의 구현을 보여주고, 리소스 인식 FedFMs 개발에 필요한 평가 지표, 데이터 세트 요구 사항 및 설계 트레이드오프를 제안합니다. 차세대 XR 시스템에서 상황 인식 개인 정보 보호 인텔리전스에 대한 기술적 및 개념적 기반을 제시하는 것을 목표로 합니다.