Enhancing Robustness to Missing Modalities through Clustered Federated Learning
Created by
Haebom
저자
Lishan Yang, Wei Emma Zhang, Quan Z. Sheng, Weitong Chen, Lina Yao, Weitong Chen, Ali Shakeri
개요
본 논문은 다양한 모달리티의 데이터를 사용하는 분산 학습 방법인 다모달 연합 학습(MFL)에서 모달리티 누락 문제를 해결하기 위한 새로운 프레임워크 MMiC를 제안한다. MMiC는 클러스터 내 클라이언트 모델의 부분 파라미터를 대체하여 누락된 모달리티의 영향을 완화하고, Banzhaf Power Index를 활용하여 클라이언트 선택을 최적화하며, Markovitz Portfolio Optimization을 이용하여 글로벌 집계를 동적으로 제어한다. 실험 결과, MMiC는 누락된 모달리티가 있는 다모달 데이터셋에서 기존 연합 학습 아키텍처보다 글로벌 및 개인화 성능 모두에서 우수한 성능을 보였다.
시사점, 한계점
•
시사점:
◦
다모달 연합 학습에서 모달리티 누락 문제에 대한 효과적인 해결책 제시
◦
MMiC 프레임워크를 통해 글로벌 및 개인화 성능 향상
◦
Banzhaf Power Index와 Markovitz Portfolio Optimization을 연합 학습에 효과적으로 적용
