Sign In

Advancing Autonomous Vehicle Intelligence: Deep Learning and Multimodal LLM for Traffic Sign Recognition and Robust Lane Detection

Created by
  • Haebom
Category
Empty

저자

Chandan Kumar Sah, Ankit Kumar Shaw, Xiaoli Lian, Arsalan Shahid Baig, Tuopu Wen, Kun Jiang, Mengmeng Yang, Diange Yang

개요

본 논문은 자율주행 자동차의 안전한 주행을 위해 심층 학습 기법과 다중 모달 대규모 언어 모델(MLLM)을 통합한 통합 접근 방식을 제시합니다. 교통 표지 인식에는 ResNet-50, YOLOv8, RT-DETR을 평가하여 각각 99.8%, 98.0%, 96.6%의 정확도를 달성했습니다. 차선 검출에는 CNN 기반 분할 방법과 다항 곡선 피팅을 사용하여 유리한 조건에서 높은 정확도를 달성했습니다. 또한, 소규모 다양한 데이터셋을 사용한 지시어 튜닝을 통해 사전 훈련 없이도 다양한 차선 유형, 복잡한 교차로 및 합류 구역을 효과적으로 처리하는 경량의 MLLM 기반 프레임워크를 제시합니다. 이 프레임워크는 악조건에서 추론을 통해 차선 검출 신뢰성을 향상시켜, 맑은 조건에서 99.6%, 야간 93.0%, 비 88.4%, 도로 파손 95.6%의 정확도를 달성했습니다. 전체적으로 FRM 53.87%, QNS 82.83%의 성능을 보였습니다.

시사점, 한계점

•
시사점:
◦
심층 학습과 MLLM을 통합한 통합 접근 방식을 통해 자율주행 자동차의 도로 인식 성능 향상.
◦
ResNet-50, YOLOv8, RT-DETR을 이용한 교통 표지 인식에서 우수한 성능 달성.
◦
CNN 기반 분할 및 다항 곡선 피팅을 이용한 차선 검출의 높은 정확도.
◦
사전 훈련 없이 지시어 튜닝으로 다양한 상황에 대한 강건한 차선 검출 성능 확보.
◦
악천후 및 도로 파손 등 다양한 악조건에서도 높은 차선 검출 정확도 유지.
◦
자율주행 자동차의 안전성 향상에 기여.
•
한계점:
◦
제한된 훈련 자원으로 인한 성능 저하 가능성.
◦
MLLM 기반 프레임워크의 FRM 및 QNS 정확도가 상대적으로 낮음. (53.87%, 82.83%)
◦
실제 도로 환경에서의 일반화 성능에 대한 추가적인 검증 필요.
◦
특정 악조건(비, 도로 파손)에 대한 성능은 우수하지만, 다른 유형의 악조건에 대한 성능 검증 부족.
👍
Made with Slashpage