AGENTS-LLM: Augmentative GENeration of Challenging Traffic Scenarios with an Agentic LLM Framework
Created by
Haebom
저자
Yu Yao, Salil Bhatnagar, Markus Mazzola, Vasileios Belagiannis, Igor Gilitschenski, Luigi Palmieri, Simon Razniewski, Marcel Hallgarten
개요
본 논문은 자율주행 시스템 평가에 있어 희귀하지만 중요한 시나리오를 효과적으로 생성하는 새로운 프레임워크를 제시한다. 기존의 데이터 기반 모델은 방대한 훈련 데이터를 필요로 하고, 세밀한 제어가 어려우며, 새로운 시나리오 생성 시 기존 데이터와의 분포 차이로 평가의 유효성이 떨어지는 문제점을 가지고 있다. 본 논문에서는 자연어 설명을 사용하여 실제 교통 시나리오를 증강하는 LLM 기반 에이전트 프레임워크를 제안한다. 에이전트 기반 설계를 통해 소규모 LLM을 사용하더라도 세밀한 제어와 높은 성능을 유지하며, 전문가 수준의 시나리오 증강을 가능하게 한다.
시사점, 한계점
•
시사점:
◦
자연어를 이용한 LLM 기반의 시나리오 증강 프레임워크를 제시하여 자율주행 시스템 평가의 효율성을 높였다.
◦
에이전트 기반 설계를 통해 소규모 LLM로도 고품질의 시나리오 증강이 가능함을 보였다.
◦
전문가 수준의 수동 증강과 비교 가능한 수준의 시나리오 생성 성능을 검증하였다.
•
한계점:
◦
LLM의 성능에 의존적일 수 있다. LLM의 한계가 시나리오 생성의 품질에 영향을 미칠 수 있다.
◦
자연어 설명의 질에 따라 생성되는 시나리오의 품질이 달라질 수 있다. 명확하고 상세한 설명이 필요하다.
◦
실제 도로 환경과의 완벽한 일치를 보장할 수 없다. 모델의 일반화 성능에 대한 추가적인 연구가 필요하다.
