Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

ÉValuation des capacités cognitives de sécurité dans les modèles vision-langage pour la conduite autonome

Created by
  • Haebom

Auteur

Enming Zhang, Peizhe Gong, Xingyuan Dai, Min Huang, Yisheng Lv, Qinghai Miao

Contour

Cet article présente le Safety Cognition Driving Benchmark (SCD-Bench), un nouveau benchmark permettant d'évaluer la sécurité des modèles vision-langage (VLM) dans les systèmes de conduite autonome. Pour répondre au problème d'évolutivité de l'annotation des données, nous introduisons Autonomous Driving Annotation (ADA), un système d'annotation semi-automatisé évalué par des experts en conduite autonome. Grâce à un pipeline d'évaluation automatisé, nous obtenons une concordance de plus de 98 % avec les jugements des experts humains. De plus, nous construisons SCD-Training, le premier ensemble de données à grande échelle pour cette tâche (contenant 324 350 échantillons de haute qualité), contribuant ainsi à améliorer les capacités cognitives de sécurité des VLM. Les résultats expérimentaux montrent que les modèles entraînés avec SCD-Training surpassent SCD-Bench ainsi que les benchmarks généraux et spécifiques à un domaine.

Takeaways, Limitations

•
Takeaways:
◦
Nous présentons un nouveau benchmark (SCD-Bench) et un ensemble de données de formation à grande échelle (SCD-Training) pour évaluer les capacités de perception de la sécurité des VLM dans les environnements de conduite autonome.
◦
Améliorer l'efficacité et l'évolutivité de l'annotation des données avec un système d'annotation semi-automatique (ADA).
◦
Des évaluations cohérentes sont possibles grâce à des pipelines d’évaluation automatisés.
◦
Les modèles formés à l'aide de SCD-Training démontrent des performances améliorées sur divers critères de référence, suggérant leur potentiel à contribuer à l'amélioration de la sécurité des systèmes de conduite autonome.
•
Limitations:
◦
Une validation supplémentaire est nécessaire concernant les limites de précision du système ADA et la subjectivité de l’examen des experts.
◦
Des recherches supplémentaires sont nécessaires pour déterminer la généralisabilité des données SCD-Bench et SCD-Training. Ces données peuvent être biaisées dans des environnements ou des situations spécifiques.
◦
Des recherches supplémentaires sont nécessaires pour vérifier la sécurité dans des environnements de conduite autonome réels. Cela nécessite de vérifier la correspondance entre les résultats des tests de référence et les situations réelles.
👍
Made with Slashpage