Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Transferable Mask Transformer: Cross-domain Semantic Segmentation with Region-adaptive Transferability Estimation

Created by
  • Haebom

作者

Jianhua Liu, Zhengyu Li, Yanru Wu, Jingge Wang, Yang Tan, Ruizhe Zhao, Guan Wang, Yang Li

概要

本論文は,ビジョントランス(ViTs)を用いたセマンティックスプリットにおけるドメイン間の差による性能劣化問題を解決するために,領域レベル適応技術を提示する。既存のグローバルまたはパッチレベルの適応技術の限界を克服するために、Adaptive Cluster-based Transferability Estimator(ACTE)を使用して画像を構造的、意味的に一貫した領域に動的に分割して、地域固有の配信可能性を評価します。続いて、TMA(Transferable Masked Attention)モジュールを介して、領域ごとの転送可能性マップをViTsのアテンション機構に統合し、転送性が低く、意味的に不確実性の高い領域の適応を優先する。 20個のクロスドメインペアの包括的な評価は、従来の方法と比較して平均2%MIoUを向上させることを示しています。

Takeaways、Limitations

Takeaways:
領域レベル適応によるドメイン間差によるViTsベースのセマンティックスプリット性能低下問題を効果的に解決する新しい方法を提示
ACTEとTMAモジュールを介して地域別の配信可能性を効率的に分析し、適応プロセスに反映
異なるドメイン間ペアの実験結果による優れた性能検証
公開ソースコード提供。
Limitations:
ACTEモジュールの計算コストが高くなる可能性があります。
特定のドメインの組み合わせでは、パフォーマンスの向上が制限されている可能性があります。
さまざまなアーキテクチャとデータセットの追加の実験が必要です。
👍