この論文は、画像、ビデオ、オーディオ、テキスト、深さ、点群、時系列、表形式、グラフ、X線、赤外線、IMU、高分光など、約12のさまざまなモダリティデータを処理できる新しいマルチモダリティマルチワークネットワークと関連学習アルゴリズムを提供します。提案された方法は、モダリティ特化トルクナイザ、共有トランスアーキテクチャおよびクロスアテンションメカニズムを利用して、様々なモダリティのデータを統合された埋め込み空間に投影する。各モダリティのさまざまなタスクに対して、モダリティ固有のワークヘッドを統合して、マルチモーダリティおよびマルチタスクシナリオを解決します。ネットワークを初期化するための反復的なモダリティ遷移による新しい事前学習戦略と、すべてのモダリティの完全な共同学習と、一度に2つのモダリティの学習との間のトレードオフを提供する学習アルゴリズムを提案します。 12のモダリティの25個のデータセットの包括的な評価を提供し、最先端のパフォーマンスを示し、提案されたアーキテクチャ、事前学習戦略、および適応型マルチタスク学習の効果を実証します。
