Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

FedP$^2$EFT: Federated Learning to Personalize PEFT for Multilingual LLMs

Created by
  • Haebom

作者

Royson Lee, Minyoung Kim, Fady Rezk, Rui Li, Stylianos I. Venieris, Timothy Hospedales

概要

この論文は、多様で分散された多言語データ、特に低資源言語の多言語大規模言語モデル（LLM）学習を可能にする連合学習（FL）に焦点を当てています。クライアント固有のパフォーマンスを向上させるために、LoRAなどのパラメータ効率的な微調整（PEFT）モジュールを使用したパーソナライゼーションが一般的です。これには、PEFTアダプタ構造の設計（たとえば、LoRAを追加するレイヤーとランク）、および微調整用のハイパーパラメータの選択（学習率など）などのパーソナライズ戦略（PS）が含まれます。この論文では、手動PS構成の代わりに、クロスデバイスFL設定で多言語LLMのための連合学習 - 個人化方法であるFedP²EFTを提案します。 FedP²EFTは、ベイズの希少ランキングの選択を通じて、各クライアントに最適なパーソナライズされたPEFT構造を共同で学習します。模擬および実際の多言語FLベンチマークの評価は、FedP²EFTが従来のパーソナライズされた微調整方法よりもはるかに優れたパフォーマンスを示し、他の既存のFL方法を補完することを示しています。

Takeaways、Limitations

•
Takeaways：
◦
多言語LLMのクライアント固有のパフォーマンスを向上させる新しい連合学習ベースのパーソナライゼーション方法（FedP²EFT）を提示します。
◦
ベイジアン希少ランキングの選択により、低データ環境における過適合問題を軽減し、最適なPEFT構造を効率的に学習
◦
模擬データと実データセットの既存の方法と比較して優れた性能を検証。
◦
様々なFL法との相補性の提示
◦
オープンソースコードの公開を通じて再現性と拡張性を確保。
•
Limitations：
◦
提案された方法の性能は、特定のデータセットおよびLLMアーキテクチャに依存し得る。
◦
実際の多言語環境における一般化性能のさらなる研究が必要である。
◦
ベイジアン希少ランキング選択の計算コストが大きくなる可能性があります。
◦
さまざまなサイズと特性の多言語データセットのより包括的な実験が必要です。
👍
Made with Slashpage