Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Evaluación de la capacidad cognitiva de seguridad en modelos de visión-lenguaje para la conducción autónoma

Created by
  • Haebom

Autor

Enming Zhang, Peizhe Gong, Xingyuan Dai, Min Huang, Yisheng Lv, Qinghai Miao

Describir

Este artículo presenta el Safety Cognition Driving Benchmark (SCD-Bench), un novedoso sistema de referencia para evaluar la seguridad de los modelos de visión-lenguaje (VLM) en sistemas de conducción autónoma. Para abordar la escalabilidad de la anotación de datos, presentamos Autonomous Driving Annotation (ADA), un sistema de anotación semiautomatizado revisado por expertos en conducción autónoma. Mediante un proceso de evaluación automatizado, logramos una concordancia superior al 98 % con las opiniones de los expertos. Además, desarrollamos SCD-Training, el primer conjunto de datos a gran escala para esta tarea (con 324 350 muestras de alta calidad), que contribuye a mejorar las capacidades de cognición de seguridad de los VLM. Los resultados experimentales muestran que los modelos entrenados con SCD-Training superan a SCD-Bench, así como a los sistemas de referencia generales y específicos del dominio.

Takeaways, Limitations

Takeaways:
Presentamos un nuevo punto de referencia (SCD-Bench) y un conjunto de datos de entrenamiento a gran escala (SCD-Training) para evaluar las capacidades de percepción de seguridad de los VLM en entornos de conducción autónoma.
Mejorar la eficiencia y la escalabilidad de la anotación de datos con un sistema de anotación semiautomático (ADA).
Las evaluaciones consistentes son posibles a través de canales de evaluación automatizados.
Los modelos entrenados con SCD-Training demuestran un rendimiento mejorado en varios puntos de referencia, lo que sugiere su potencial para contribuir a mejorar la seguridad de los sistemas de conducción autónoma.
Limitations:
Se necesita una mayor validación con respecto a los límites de precisión del sistema ADA y la subjetividad de la revisión de expertos.
Se requiere mayor investigación para determinar la generalización de los conjuntos de datos SCD-Bench y SCD-Training. Estos podrían presentar sesgos en entornos o situaciones específicos.
Se necesita más investigación para verificar la seguridad en entornos reales de conducción autónoma. Esto requiere verificar la precisión con la que los resultados de las pruebas comparativas se ajustan a las situaciones reales.
👍