Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Feature Distillation is the Better Choice for Model-Heterogeneous Federated Learning

Created by
  • Haebom

作者

Yichen Li, Xiuying Wang, Wenchao Xu, Haozhao Wang, Yining Qi, Jiahua Dong, Ruixuan Li

概要

モデル−異質的連合学習（Ｈｅｔｅｒｏ−ＦＬ）は、個人データをローカルに維持しながら異質的モデルから知識を統合する能力として注目されている。クライアントからの知識をよりよく統合するために、アンサンブル蒸留は、グローバル統合後のグローバルモデルの性能を向上させるために広く使用されている効果的な技術である。しかし、Hetero-FLとアンサンブル蒸留を単純に組み合わせることは、常に有望な結果を出さず、学習プロセスを不安定にする可能性があります。これは、既存の方法が主にモデルに依存しないソフトマックス予測を使用するロジット蒸留に焦点を当て、異質モデルで発生する知識偏向を補償しないためです。この論文では、この問題を解決するために、FedFDと呼ばれるモデル - 不均一な連合学習のための安定した効率的なFeature Distillationを提案します。 FedFDは、直交投影によって整列された特徴情報を統合し、異質モデルからの知識をよりよく統合することができます。特に、新しい特徴に基づくアンサンブル連合知識蒸留パラダイムを提案する。サーバーのグローバルモデルは、各クライアントサイドモデルアーキテクチャに対して特徴を個別に整列するための投影レイヤを維持する必要があります。直交技術は、異質モデルからの知識偏向を軽減し、蒸留された知識を最大化するために投影層を再パラメータ化するために使用されます。広範な実験の結果、FedFDは最先端の方法より優れた性能を達成した。

Takeaways、Limitations

•
Takeaways：
◦
モデル - 異質連合学習における安定的かつ効率的な知識統合のための新しいFeature Distillation方法論（FedFD）の提示。
◦
直交投影を利用して異質モデル間の知識偏向を軽減し,性能を向上
◦
新機能に基づくアンサンブル連合知識蒸留パラダイム提案
◦
従来のSOTA法に比べて優れた性能を証明。
•
Limitations：
◦
各クライアントモデルアーキテクチャの投影層をサーバー上に維持する必要があります。 (計算複雑性の増加の可能性)
◦
具体的な性能向上の程度と様々な環境での一般化性能に関するさらなる研究が必要
◦
本論文に記載されていない他の知識蒸留法との比較分析の必要性
👍
Made with Slashpage