본 논문은 다양한 모달리티의 감각 데이터를 수집하는 에지 디바이스 간의 지능적인 협업을 통해 환경에 대한 이해도를 높이고 의사결정 정확도를 향상시키는 대규모 통신 시스템을 다룹니다. 기존의 연합 학습(FL) 알고리즘은 일반적으로 단일 모달리티 데이터셋을 고려하고 동일한 모델 아키텍처를 필요로 하며 다중 모달리티 데이터에 내재된 풍부한 정보를 활용하지 못하여 다양한 모달리티와 다양한 클라이언트 기능을 가진 실제 시나리오에 적용하는 데 한계가 있습니다. 이 문제를 해결하기 위해, 본 논문은 다양한 모달리티를 가진 디바이스 간의 협업을 향상시키기 위해 층 이론을 활용하는 새로운 분산 다중 모달 학습 프레임워크인 Sheaf-DMFL을 제안합니다. 각 클라이언트는 서로 다른 모달리티에 대한 로컬 특징 인코더 집합을 가지며, 그 출력은 작업별 계층을 통과하기 전에 연결됩니다. 동일한 모달리티에 대한 인코더는 클라이언트 간에 공동으로 학습되는 반면, 층 기반 구조를 사용하여 클라이언트의 작업별 계층 간의 고유한 상관관계를 포착합니다. 학습 능력을 더욱 향상시키기 위해, 각 클라이언트 내에서 어텐션 메커니즘을 조정하여 서로 다른 모달리티 간의 상관관계를 포착하는 Sheaf-DMFL-Att라는 향상된 알고리즘을 제안합니다. Sheaf-DMFL-Att의 엄격한 수렴 분석을 제공하여 이론적 보장을 확립합니다. 실제 링크 차단 예측 및 mmWave 빔포밍 시나리오에 대한 광범위한 시뮬레이션을 통해 이러한 이기종 무선 통신 시스템에서 제안된 알고리즘의 우수성을 입증합니다.
