본 논문은 자율 주행(AD)에서 강화 학습(RL)의 단점인 정책 구조 설계의 미흡을 해결하기 위해 다중 시간 척도 계층적 강화 학습 접근 방식을 제안합니다. 기존 RL 기반 AD 방법들은 단기간의 차량 제어 명령만 출력하는 정책 또는 장기간의 주행 목표만 출력하는 정책으로 인해 주행 행동의 불안정성 또는 최적화 부족 문제를 야기합니다. 본 연구에서는 고수준 정책과 저수준 정책을 통합적으로 학습시켜 장기간의 주행 안내와 단기간의 제어 명령을 각각 생성하는 계층적 정책 구조를 제안합니다. 고수준 정책은 다중 모드 주행 행동을 포착하고 저수준 정책의 상태 업데이트를 지원하는 혼합 행동(hybrid actions)으로 주행 안내를 명시적으로 표현합니다. 또한, 다중 시간 척도 안전 메커니즘을 설계하여 안전성을 확보합니다. 시뮬레이터 기반 및 HighD 데이터셋 기반 고속도로 다차선 시나리오에서의 평가 결과, 제안된 접근 방식이 주행 효율성, 행동 일관성 및 안전성을 효과적으로 향상시키는 것을 보여줍니다.
