Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

REMOTE: A Unified Multimodal Relation Extraction Framework with Multilevel Optimal Transport and Mixture-of-Experts

Created by
  • Haebom

作者

Xinkui Lin, Yongxiu Xu, Minghao Tang, Shilong Zhang, Hongbo Xu, Hao Xu, Yubin Wang

概要

本稿では、マルチモーダル関係抽出(MRE)のための新しい統合フレームワークであるREMOTEを提案します。 REMOTEは、多層最適転送とエキスパートミックスを活用して、テキストエンティティとビジュアルオブジェクト間のモーダル内とモーダル間の関係を同時に抽出します。既存の方法のLimitationsである単一関係抽出と計算の冗長性を克服し、専門家混合メカニズムを介してさまざまな関係三重項に対する最適な相互作用特性を動的に選択します。さらに、多層最適伝送融合モジュールを導入し、低レベルの情報損失なしに多層エンコードの利点を維持し、より表現力のある表現を作成します。 UMREという新しいデータセットを構築してREMOTEの有効性を評価し、既存のMREデータセットで最先端の性能を達成しました。ソースコードはFitHubに公開されました。

Takeaways、Limitations

Takeaways:
様々な種類の関係三重項を同時に抽出する統合フレームワークの提示
多層最適伝達と専門家混合機構による効率的で表現力のある関係の抽出
UMREデータセット構築による客観的なパフォーマンス評価と比較
最先端の性能達成とオープンソース公開による研究の活性化
Limitations:
UMREデータセットの規模と多様性が将来改善される可能性があります。
特定のタイプの関係については、パフォーマンスの違いが発生する可能性があります。
多層最適配送モジュールの計算複雑度が高い可能性がある。
👍