CrashSight: A Phase-Aware, Infrastructure-Centric Video Benchmark for Traffic Crash Scene Understanding and Reasoning

Created by

Haebom

저자

Rui Gan, Junyi Ma, Pei Li, Xingyou Yang, Kai Chen, Sikai Chen, Bin Ran

💡 개요

본 논문은 기존 차량 중심의 교통 상황 이해 벤치마크의 한계를 극복하고, 협력적 자율주행을 위한 인프라 관점의 도로 사고 이해를 위해 대규모 비전-언어 벤치마크인 CrashSight를 제안한다. CrashSight는 실제 도로변 카메라 데이터를 기반으로 250개의 사고 영상과 13,000개의 질의응답 쌍을 포함하며, 시각적 근거 기반 상황 이해와 사고 메커니즘, 인과 관계, 시간적 진행, 사고 후 결과 등 고차원 추론 능력을 평가한다.

🔑 시사점 및 한계

•

협력적 자율주행 시스템의 안전성을 향상시키기 위해 차량뿐만 아니라 인프라 관점에서의 교통 상황 이해가 필수적임을 강조한다.

•

현재 최신 비전-언어 모델들이 뛰어난 장면 설명 능력을 보여주지만, 안전이 중요한 교통 사고 시나리오에서의 시간적 및 인과 관계 추론 능력에는 상당한 격차가 있음을 입증한다.

•

CrashSight 벤치마크는 인프라 기반 지각 능력 평가를 위한 표준화된 프레임워크를 제공하며, 비전-언어 모델의 사고 이해 능력을 개선하기 위한 새로운 연구 방향을 제시한다.

•

(한계점 또는 향후 과제) 현재 모델의 시간적 및 인과 관계 추론 능력 부족을 해결하기 위한 모델 아키텍처 및 학습 방법론 개발이 필요하며, 실제 도로 환경에서의 복잡하고 다양한 사고 시나리오에 대한 추가적인 데이터 확장 및 세분화된 평가 지표 개발이 요구된다.

PDF 보기

Made with Slashpage