본 논문은 다중 모달 연합 학습(MFL)을 세 가지 주요 연합 학습(FL) 패러다임(수평 FL, 수직 FL, 하이브리드 FL)의 맥락에서 체계적으로 조사합니다. 각 패러다임에 대해 문제 공식화, 대표적인 훈련 알고리즘 검토, 분산 환경에서 다중 모달 데이터가 도입하는 가장 두드러진 과제를 제시합니다. 또한, 미해결 과제를 논의하고 향후 연구에 대한 통찰력을 제공하며, 다양한 FL 패러다임의 관점에서 다중 모달 데이터가 제기하는 새로운 과제를 밝히고 MFL의 개발을 이해하고 발전시키기 위한 새로운 관점을 제공하는 것을 목표로 합니다. 기존의 단일 모달 또는 비 FL 시나리오에서 발생하는 문제와는 달리, 다중 모달 데이터는 모달 이질성, 프라이버시 이질성, 통신 비효율성과 같은 고유한 과제를 제시합니다.
