Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Graph Coloring for Multi-Task Learning

Created by
  • Haebom

作者

Santosh Patapati

概要

マルチタスク学習では、異なる目標が衝突して傾き干渉が発生し、収束が遅くなり、モデルのパフォーマンスが低下する問題を解決するために、SON-GOKUを提案します。 SON-GOKUは勾配干渉を計算し、干渉グラフを構築し、次に貪欲なグラフの着色を適用して、互いに整列したワークグループを分割します。各トレーニングフェーズでは、1つのワークグループのみがアクティブになり、グループの分割は、トレーニング中に作業関係が変化するにつれて継続的に再計算されます。 SON-GOKUは、すべての基本的なマルチタスク学習オプティマイザの効果を向上させ、6つの異なるデータセットの実験結果は、提案された方法が既存の方法と最先端のマルチタスクオプティマイザを一貫して超えていることを示しています。

Takeaways、Limitations

Takeaways:
勾配干渉を減らし、マルチタスク学習モデルのパフォーマンスを向上させます。
既存のマルチタスク学習オプティマイザを追加のチューニングなしで改善できます。
理論的分析によるグループ化と逐次更新の効果を実証
実験結果により、さまざまなデータセットで一貫したパフォーマンスが向上しました。
Limitations:
論文に具体的なLimitationsへの言及はありません。
👍