CLoVE: Personalized Federated Learning through Clustering of Loss Vector Embeddings
Created by
Haebom
作者
Randeep Bhatia, Nikos Papadis, Murali Kodialam, TV Lakshman, Sayak Chakrabarty
概要
CLoVE（Clustering of Loss Vector Embeddings）は、クラスタベースの連合学習（CFL）のための新しいアルゴリズムです。 CFLでは、クライアントはデータの分布に基づいて自然にクラスタにグループ化されていますが、クライアントの割り当てが不明であるため、これらのクラスタを識別するのは難しい問題です。 CLoVEはクライアントデータのモデル損失から派生したクライアント埋め込みを使用し、同じクラスタ内のクライアントは同様の損失値を共有し、他のクラスタ内のクライアントは区別される損失パターンを示すという洞察を利用します。これらの組み込みに基づいて、CLoVEは異なるクラスタ内のクライアントを繰り返し識別して分離し、フェデレーション集約を通じてクラスタ固有のモデルを最適化できます。従来のCFLアルゴリズムと比較して、CLoVEの主な利点は、（1）単純さ、（2）地図と非地図設定の両方に適用可能、（3）ほとんど最適なモデル初期化が不要であることです。理論的収束境界を設定することで、CLoVEが1ラウンドで高い確率でクラスターを正確に回復し、線形設定から最適モデルに指数関数的に迅速に収束することを示しています。さまざまなタイプのデータセットと幅広い非IID設定で、さまざまなCFLおよび一般的なパーソナライズされたフェデレーション学習（PFL）アルゴリズムと比較した包括的な実験は、CLoVEが数ラウンドの学習だけで非常に正確なクラスターリカバリとともに、さまざまなマップおよび非マップPFL操作で最先端のモデル精度を達成することを示しています。
