Can Vision-Language Models Understand and Interpret Dynamic Gestures from Pedestrians? Pilot Datasets and Exploration Towards Instructive Nonverbal Commands for Cooperative Autonomous Vehicles
Created by
Haebom
저자
Tonko E. W. Bossen, Andreas M{\o}gelmose, Ross Greer
개요
본 논문은 자율 주행 환경에서 교통 제스처(TGs)의 정확한 해석의 중요성을 강조하며, 최첨단 비전-언어 모델(VLMs)의 제로샷 교통 제스처 해석 능력을 평가합니다. 연구진은 다양한 형식의 교통 제스처를 포함하는 두 개의 새로운 데이터셋(Acted TG (ATG) 와 Instructive TG In-The-Wild (ITGI))을 제작하여 공개하고, 세 가지 평가 방법(캡션 유사도, 제스처 분류, 포즈 시퀀스 재구성 유사도)을 통해 VLMs의 성능을 측정합니다. 실험 결과, 최첨단 VLMs는 제로샷 교통 제스처 이해에 어려움을 겪고 있으며, 정확도와 안정성이 자율 주행에 적용하기에는 부족함을 보입니다.
시사점, 한계점
•
시사점:
◦
자율 주행 시스템의 안전을 위해 정확한 교통 제스처 이해가 필수적임을 확인했습니다.
◦
제로샷 학습 환경에서 최첨단 VLMs의 교통 제스처 이해 능력의 한계를 밝혔습니다.
◦
새로운 교통 제스처 데이터셋 (ATG, ITGI)을 공개하여 후속 연구에 기여했습니다.
◦
포즈 시퀀스 재구성 기법이 잠재력을 보이지만, 더 많은 데이터와 정교한 평가 지표가 필요함을 시사했습니다.
•
한계점:
◦
현재 최첨단 VLMs의 교통 제스처 이해 성능이 낮습니다 (캡션 유사도 0.59 미만, 분류 F1 점수 0.14-0.39).
◦
포즈 시퀀스 재구성 기법의 신뢰성을 높이기 위해서는 더 많은 데이터와 개선된 평가 지표가 필요합니다.
