본 논문은 자율 주행의 다목적 호환성 문제를 해결하기 위해 혼합 매개변수화된 행동을 사용하는 다목적 앙상블-비평가 강화 학습 방법을 제안합니다. 기존 강화 학습 방법은 단일 행동 유형의 공통 행동 공간 구조로 인해 주행 유연성이 제한되거나 정책 실행 중 행동 변동이 크고, 다중 속성 가중치 단일 보상 함수로 인해 특정 목표에 대한 에이전트의 불균형적인 주의가 발생하는 문제점을 가지고 있습니다. 본 논문에서 제안하는 방법은 매개변수화된 행동 공간을 구성하여 추상적인 안내와 구체적인 제어 명령을 결합한 혼합 주행 행동을 생성하고, 다중 속성 보상을 고려한 다목적 비평가 구조를 구성하여 여러 주행 목표에 동시에 집중하도록 합니다. 또한, 불확실성 기반 탐색 전략을 도입하여 에이전트가 실행 가능한 주행 정책에 더 빠르게 접근하도록 지원합니다. 시뮬레이션 교통 환경과 HighD 데이터셋에서의 실험 결과를 통해 제안된 방법이 주행 효율성, 행동 일관성 및 안전성 측면에서 다목적 호환 자율 주행을 달성하고, 주행 성능을 향상시키면서 훈련 효율성을 크게 높이는 것을 보여줍니다.
