Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

NOCTIS : nouvelle segmentation d'instance basée sur un seuil cyclique d'objet

Created by
  • Haebom

Auteur

Max Gandyra, Alessandro Santonicola, Michael Beetz

Contour

Cet article propose NOCTIS (Novel Object Cyclic Threshold-based Instance Segmentation), un nouveau framework qui ne nécessite aucun apprentissage pour résoudre le problème de segmentation d'instances de nouveaux objets. NOCTIS intègre des modèles Grounded-SAM 2 et DINOv2 pré-entraînés pour générer des cadres englobants et des masques de segmentation précis, et extrait les intégrations de classes et de patchs. La correspondance des objets est obtenue grâce à un nouveau mécanisme de seuil cyclique (CT) et à un score de correspondance d'objets calculé en fonction de la similarité des intégrations de classes et de la similarité maximale moyenne des intégrations de patchs. Outre le CT, NOCTIS utilise également les scores d'apparence et la confiance moyenne des cadres englobants et des masques proposés comme éléments de notation, obtenant de meilleures performances que les méthodes RVB-D grâce à un pipeline exclusivement RVB. Expérimentalement, nous démontrons que NOCTIS obtient un score AP moyen supérieur aux meilleures méthodes RVB et RVB-D existantes sur sept jeux de données majeurs du défi BoP 2023.

Takeaways, Limitations

Takeaways:
Nous présentons NOCTIS, un nouveau framework qui résout efficacement le problème de la segmentation d'instances de nouveaux objets sans formation.
Atteint des performances qui surpassent les méthodes RVB et RVB-D hautes performances existantes.
Une stratégie efficace de mise en correspondance et de notation d'objets est présentée à l'aide du mécanisme de seuil circulaire (CT), des scores d'apparence et des scores de confiance moyens.
Il présente de meilleures performances que la méthode RVB-D avec un pipeline RVB uniquement.
Limitations:
Dépend de modèles pré-entraînés spécifiques (Grounded-SAM 2, DINOv2). L'utilisation d'autres modèles peut entraîner de mauvaises performances.
Manque d'explication détaillée du réglage des paramètres du mécanisme de seuillage cyclique (CT). Une analyse plus approfondie du processus d'optimisation et des performances de généralisation est nécessaire.
Une validation supplémentaire des performances de généralisation à une variété de nouveaux objets est nécessaire.
Une évaluation plus approfondie des performances et de la stabilité dans les applications du monde réel est nécessaire.
👍