Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Robustez de oclusión del CLIP para la clasificación de vehículos militares

작성자
  • Haebom

Autor

Jan Erik van Woerden, Gertjan Burghouts, Lotte Nijskens, Alma M. Liezenga, Sabina van Rooij, Frank Ruis, Hugo J. Kuijf

Describir

Este artículo evalúa la robustez de CLIP, un modelo de clasificación de disparo cero útil en aplicaciones de defensa con datos etiquetados limitados, especialmente en entornos militares complejos como la oclusión parcial y la baja relación señal-ruido (SNR). Utilizando un conjunto de datos personalizado de 18 clases de vehículos militares, investigamos la robustez de la variante CLIP a la oclusión, evaluándola mediante el Área Normalizada Bajo la Curva (NAUC) en función de la relación de oclusión. Los resultados experimentales demuestran que el modelo CLIP basado en transformadores supera a las CNN, con oclusiones distribuidas de grano fino que causan una mayor degradación del rendimiento que las oclusiones continuas gruesas. Además, demostramos que, si bien el modelo de sonda lineal se degrada rápidamente con una oclusión de aproximadamente el 35 %, el ajuste fino de la estructura principal permite una degradación del rendimiento incluso con una oclusión del 60 % o superior.

Takeaways, Limitations

Takeaways:
Se demuestra que los modelos CLIP basados ​​en transformadores son más resistentes a la oclusión que las CNN.
La oclusión fina y difusa tiene un mayor impacto en la degradación del rendimiento.
El ajuste fino de la columna vertebral puede mejorar la durabilidad contra la oclusión.
Enfatizar la importancia de las técnicas de aumento relacionadas con la oclusión durante el entrenamiento.
Limitations:
Dado que los resultados corresponden a un conjunto de datos de vehículos militares específico, la generalización es limitada.
Se necesitan más investigaciones sobre la sensibilidad a nivel de parche y la resiliencia arquitectónica.
Falta de evaluación del desempeño en entornos reales.
👍