[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Federated Continual Instruction Tuning

Created by
  • Haebom

作者

Haiyang Guo, Fanhu Zeng, Fei Zhu, Wenzhuo Liu, Da-Han Wang, Jian Xu, Xu-Yao Zhang, Cheng-Lin Liu

概要

本論文は、大規模マルチモーダルモデル（LMM）のディレクティブ微調整に必要な膨大なデータの収集と計算コストの問題を解決するために、連合学習（FL）ベースの継続的ディレクティブ微調整（FCIT）ベンチマークを提供します。既存のFL方法が固定数の作業を想定するのとは異なり、FCITは、実際の環境のように、クライアントが常に新しい知識に触れ、既存の作業を維持するのに苦労する状況をモデル化します。これを実現するために、2つの現実的なシナリオと4つの設定、12のディレクティブ微調整データセットを含むベンチマークを構成し、動的知識構成とサブスペース選択的アクティブ化によってさまざまなデータの不均一性と忘却の問題を解決する方法を提案します。実験の結果、提案された方法はモデル性能を大幅に向上させることを示しています。コードとデータセットは公開されています。

Takeaways、Limitations

•
Takeaways:
◦
連合学習を活用して、大規模マルチモーダルモデルのディレクティブ微調整コストを削減するための新しいベンチマークと方法の提示。
◦
実際の環境の継続的な学習状況を反映した現実的なベンチマークを提供します。
◦
動的知識構成とサブスペース選択的活性化技術により、既存の連合学習のLimitationsである忘却問題を効果的に解決します。
◦
公開されたコードとデータセットによる今後の研究の発展に貢献。
•
Limitations：
◦
提案された方法の性能評価が特定のデータセットおよび設定に限定される可能性。
◦
実際の環境の複雑さを完全に反映できない可能性があります。
◦
より多様な種類のLMMとFLアルゴリズムの実験が必要です。
👍
Made with Slashpage