본 논문은 안전이 중요한 상황에서의 의사결정 연구가 비효율적인 데이터 기반 시나리오 생성이나 특정 모델링 접근 방식에 의존하여 실제 상황의 극단적인 경우(corner cases)를 포착하지 못하는 문제를 해결하기 위해 Red-Team Multi-Agent Reinforcement Learning 프레임워크를 제안한다. 이 프레임워크는 간섭 능력을 가진 배경 차량을 적대적 에이전트(red-team agents)로 취급하여 적극적인 간섭과 탐색을 통해 데이터 분포 밖의 극단적인 경우를 발견한다. 제약 그래프 표현 마르코프 의사결정 과정(Constraint Graph Representation Markov Decision Process)을 사용하여 적대적 에이전트가 안전 규칙을 준수하면서 자율 주행 차량(AVs)을 지속적으로 방해하도록 한다. 또한, 적대적 에이전트가 AVs에 가하는 위협을 정량화하는 정책 위협 영역 모델(policy threat zone model)을 구성하여 시나리오의 위험 수준을 높이기 위해 더 극단적인 행동을 유도한다. 실험 결과는 제안된 프레임워크가 AVs 의사결정의 안전성에 상당한 영향을 미치고 다양한 극단적인 경우를 생성함을 보여준다. 이 방법은 안전이 중요한 시나리오 연구에 새로운 방향을 제시한다.
시사점, 한계점
•
시사점:
◦
안전 중요 상황에서의 자율주행 의사결정 안전성 향상에 기여
◦
데이터 분포 밖의 극단적인 상황(corner cases) 발견 및 생성 가능
◦
Red-Team Multi-Agent Reinforcement Learning 프레임워크를 통한 새로운 접근 방식 제시
