Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
Transformateur de masque transférable : segmentation sémantique inter-domaines avec estimation de la transférabilité adaptative à la région
Created by
Haebom
Auteur
Jianhua Liu, Zhengyu Li, Yanru Wu, Jingge Wang, Yang Tan, Ruizhe Zhao, Guan Wang, Yang Li
Contour
Cet article propose une technique d'adaptation au niveau régional pour remédier à la dégradation des performances causée par les différences inter-domaines dans la segmentation sémantique à l'aide de Vision Transformers (ViT). Pour surmonter les limites des techniques d'adaptation globales ou au niveau des patchs existantes, nous segmentons dynamiquement les images en régions structurellement et sémantiquement cohérentes à l'aide de l'estimateur de transférabilité adaptatif basé sur les clusters (ACTE) et évaluons la transférabilité de chaque région. Par la suite, le module Transferable Masked Attention (TMA) intègre les cartes de transférabilité spécifiques à chaque région au mécanisme d'attention des ViT, en privilégiant l'adaptation dans les régions à faible transférabilité et à forte incertitude sémantique. Une évaluation complète sur 20 paires inter-domaines démontre une amélioration moyenne de 2 % du MIoU par rapport aux méthodes existantes.
Takeaways, Limitations
•
Takeaways:
◦
Nous présentons une nouvelle méthode pour traiter efficacement la dégradation des performances de la segmentation sémantique basée sur les ViT en raison des différences inter-domaines grâce à l'adaptation au niveau du domaine.
◦
Analyser efficacement le potentiel de livraison régional grâce aux modules ACTE et TMA et le refléter dans le processus d'adaptation.
◦
Excellente vérification des performances grâce à des résultats expérimentaux pour diverses paires inter-domaines.
◦
Code source ouvert fourni.
•
Limitations:
◦
Le module ACTE peut être coûteux en termes de calcul.
◦
Les améliorations de performances peuvent être limitées pour certaines combinaisons de domaines.
◦
Des expériences supplémentaires sur différentes architectures et ensembles de données sont nécessaires.
