CLoVE (Clustering of Loss Vector Embeddings)는 클러스터 기반 연합 학습(CFL)을 위한 새로운 알고리즘입니다. CFL에서 클라이언트는 데이터 분포에 따라 자연스럽게 클러스터로 그룹화되지만, 클라이언트 할당이 알려지지 않았기 때문에 이러한 클러스터를 식별하는 것은 어려운 문제입니다. CLoVE는 클라이언트 데이터에 대한 모델 손실에서 파생된 클라이언트 임베딩을 사용하며, 동일한 클러스터에 있는 클라이언트는 유사한 손실 값을 공유하는 반면, 다른 클러스터에 있는 클라이언트는 구별되는 손실 패턴을 보인다는 통찰력을 활용합니다. 이러한 임베딩을 기반으로 CLoVE는 서로 다른 클러스터의 클라이언트를 반복적으로 식별하고 분리하며 연합 집계를 통해 클러스터별 모델을 최적화할 수 있습니다. 기존 CFL 알고리즘에 비해 CLoVE의 주요 장점은 (1) 단순성, (2) 지도 및 비지도 설정 모두에 적용 가능성, (3) 거의 최적의 모델 초기화가 필요 없다는 점으로, 이는 CLoVE를 더욱 강력하고 실제 응용 프로그램에 적합하게 만듭니다. 이론적 수렴 경계를 설정하여 CLoVE가 한 라운드에서 높은 확률로 클러스터를 정확하게 복구하고 선형 설정에서 최적 모델로 기하급수적으로 빠르게 수렴함을 보여줍니다. 다양한 유형의 데이터 세트와 광범위한 비IID 설정에서 다양한 CFL 및 일반적인 개인화된 연합 학습(PFL) 알고리즘과 비교한 포괄적인 실험은 CLoVE가 몇 라운드의 학습만으로 매우 정확한 클러스터 복구와 함께 다양한 지도 및 비지도 PFL 작업에서 최첨단 모델 정확도를 달성함을 보여줍니다.
