WaymoQA: A Multi-View Visual Question Answering Dataset for Safety-Critical Reasoning in Autonomous Driving
Created by
Haebom
Category
Empty
저자
Seungjun Yu, Seonho Lee, Namho Kim, Jaeyo Shin, Junsung Park, Wonjeong Ryu, Raehyuk Jung, Hyunjung Shim
개요
멀티 모달 대규모 언어 모델(MLLMs)의 자율 주행 적용 가능성에 대한 연구로, 안전에 민감한 상황에서의 고차원적인 추론의 어려움을 해결하기 위해 다중 시점 입력을 활용하는 새로운 과제인 Safety-Critical Reasoning을 정의하고, 이를 해결하기 위한 2단계 접근법을 제시한다. 이를 지원하기 위해 복잡하고 위험한 주행 시나리오를 다루는 35,000개의 질문-답변 쌍으로 구성된 WaymoQA 데이터셋을 도입하여, MLLMs의 안전 관련 추론 능력 향상을 위한 효과를 실험적으로 입증한다.
시사점, 한계점
•
시사점:
◦
다중 시점 입력을 통해 안전에 민감한 상황에서의 추론 능력을 향상시키는 새로운 접근 방식 제시.
◦
WaymoQA 데이터셋을 통해 안전 관련 추론 능력 향상을 위한 학습 데이터 제공.
◦
MLLMs의 자율 주행 분야 적용 가능성을 높이는 데 기여.
•
한계점:
◦
단일 전방 시점만으로는 해결하기 어려운 복잡한 상황에 초점을 맞추어, 다른 일반적인 주행 상황에 대한 적용 가능성에 대한 추가 연구 필요.
