Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Robustesse à l'occlusion du CLIP pour la classification des véhicules militaires

Created by
  • Haebom

Auteur

Jan Erik van Woerden, Gertjan Burghouts, Lotte Nijskens, Alma M. Liezenga, Sabina van Rooij, Frank Ruis, Hugo J. Kuijf

Contour

Cet article étudie la robustesse des modèles vision-langage (VLM), tels que CLIP, utiles dans les applications de défense avec des données étiquetées limitées. Plus précisément, afin d'étudier la robustesse de CLIP dans des environnements militaires difficiles, tels que l'occlusion partielle et un faible rapport signal/bruit (SNR), nous avons évalué l'aire normalisée sous la courbe (NAUC) en fonction du pourcentage d'occlusion à l'aide d'un ensemble de données personnalisé de 18 classes de véhicules militaires. Nous avons constaté que le modèle CLIP basé sur Transformer surpassait les CNN, les occlusions distribuées à granularité fine affichant une dégradation des performances plus importante que les occlusions continues grossières. De plus, nous avons observé que le modèle de sonde linéaire se dégrade rapidement à environ 35 % d'occlusion, tandis qu'un réglage fin du backbone réduit la dégradation des performances à 60 % ou plus d'occlusions.

Takeaways, Limitations

Takeaways:
Les modèles CLIP basés sur des transformateurs se révèlent plus robustes à l’occlusion que les CNN.
Les occlusions fines et diffuses ont un impact plus important sur la dégradation des performances.
La robustesse à l’occlusion peut être améliorée en ajustant finement la colonne vertébrale.
Soulignez l’importance de l’amélioration spécifique de l’occlusion pendant la formation.
Limitations:
L’étude est limitée à un ensemble de données spécifiques sur les véhicules militaires.
Des recherches supplémentaires sont nécessaires sur la sensibilité au niveau des patchs et la résilience architecturale.
Validation supplémentaire requise pour un déploiement dans le monde réel.
👍