Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Robustesse à l'occlusion du CLIP pour la classification des véhicules militaires

Created by
  • Haebom

Auteur

Jan Erik van Woerden, Gertjan Burghouts, Lotte Nijskens, Alma M. Liezenga, Sabina van Rooij, Frank Ruis, Hugo J. Kuijf

Contour

Cet article évalue la robustesse de CLIP, un modèle de classification à zéro coup utile dans les applications de défense avec des données étiquetées limitées, notamment dans les environnements militaires difficiles tels que l'occlusion partielle et un faible rapport signal/bruit. À l'aide d'un jeu de données personnalisé composé de 18 classes de véhicules militaires, nous étudions la robustesse de la variante CLIP à l'occlusion, en l'évaluant à l'aide de l'aire normalisée sous la courbe (NAUC) en fonction du taux d'occlusion. Les résultats expérimentaux démontrent que le modèle CLIP basé sur Transformer surpasse les CNN, les occlusions distribuées à granularité fine entraînant une dégradation des performances plus importante que les occlusions continues et grossières. De plus, nous démontrons que, si le modèle de sonde linéaire se dégrade rapidement à environ 35 % d'occlusion, un réglage fin du squelette permet une dégradation des performances même à 60 % d'occlusion ou plus.

Takeaways, Limitations

Takeaways:
Les modèles CLIP basés sur des transformateurs se révèlent plus robustes à l’occlusion que les CNN.
L’occlusion fine et diffuse a un impact plus important sur la dégradation des performances.
Le réglage fin de la colonne vertébrale peut améliorer la durabilité contre l’occlusion.
Souligner l’importance des techniques d’augmentation liées à l’occlusion pendant la formation.
Limitations:
ÉTant donné que les résultats concernent un ensemble de données de véhicules militaires spécifique, la généralisabilité est limitée.
Des recherches supplémentaires sont nécessaires sur la sensibilité au niveau des patchs et la résilience architecturale.
Manque d’évaluation des performances dans des environnements réels.
👍