Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Low-Dimensional Federated Knowledge Graph Embedding via Knowledge Distillation

Created by
  • Haebom

作者

Xiaoxiong Zhang, Zhiwei Zeng, Xin Zhou, Zhiqi Shen

概要

本論文は、分散環境における複数のクライアントの知識グラフ（KG）から、個人と関係の埋め込みを協力して学習する連合知識グラフの埋め込み（FKGE）に焦点を当てています。高次元の埋め込みは性能を向上させるのに有利であるが、記憶空間及び推論速度の面で困難を引き起こす。従来の埋め込み圧縮方法は、複数のモデルトレーニングを必要とし、FKGEの通信コストを増加させる問題があります。したがって、本論文では、知識蒸留（KD）ベースの軽量コンポーネントであるFedKDを提案します。 FedKDは、クライアント側のローカルトレーニング中に、低次元の学生モデルが高次元教師モデルの三重項スコア分布をKL発散損失を使用して模倣するようにします。従来のKDとは異なり、FedKDは正の三重項スコアの温度を適応的に学習し、陰性三重項スコアは事前定義された温度を使用して調整することによって教師の過信の問題を軽減します。さらに、KD損失の重みを動的に調整することによってトレーニングプロセスを最適化します。 3つのデータセットに対する広範な実験により、FedKDの効果を検証しました。

Takeaways、Limitations

•
Takeaways：
◦
連合学習環境における高次元埋め込みの貯蔵と推論コスト問題を効果的に解決する軽量の知識蒸留に基づく圧縮法の提示
◦
既存の知識蒸留のLimitationsである教師モデルの過新問題を軽減する新しい適応的温度制御技術の提案
◦
動的重み調整による知識蒸留損失の訓練過程の最適化
◦
3つのデータセットを用いた実験を通して提案方法の効果を検証した。
•
Limitations：
◦
提案された方法の効果が特定のデータセットに限定される可能性。
◦
様々なFKGEモデルの一般化性能検証が必要
◦
他の圧縮方法との比較分析がさらに必要です。
👍
Made with Slashpage