본 논문은 오프라인 강화 학습(Offline RL)을 이용한 자율 주행 계획 정책 학습에서 발생하는 데이터 불균형 문제를 해결하기 위한 연구이다. 실제 주행 데이터에는 흔한 상황보다 드문 상황(long-tail event)이 훨씬 적게 포함되어 있어, 기존의 균일한 데이터 샘플링 방식으로는 취약하고 안전하지 않은 정책이 학습될 수 있다. 이에 본 연구는 정보가 풍부한 샘플에 학습 과정을 집중시키는 데이터 관리 전략을 체계적이고 대규모로 비교 연구하였다. 휴리스틱 기반, 불확실성 기반, 행동 기반의 세 가지 범주로 분류되는 여섯 가지 중요도 가중치 부여 방식을 시간 단위와 시나리오 단위의 두 가지 시간 척도에서 평가하였다. 최첨단의 어텐션 기반 아키텍처를 사용하는 7개의 목표 조건부 보수적 Q-학습(CQL) 에이전트를 Waymax 시뮬레이터에서 훈련하고 평가한 결과, 모든 데이터 관리 방법이 기준선보다 성능이 우수함을 보였다. 특히, 모델 불확실성을 신호로 사용하는 데이터 기반 관리가 안전성을 가장 크게 향상시켜 충돌률을 거의 3배(16.0%에서 5.5%로) 줄였다. 또한, 시간 단위 가중치는 반응적 안전성에, 시나리오 단위 가중치는 장기 계획에 각각 우수함을 보이는 명확한 트레이드오프가 있음을 확인하였다. 결론적으로, 본 연구는 오프라인 RL에서 데이터 관리를 위한 포괄적인 프레임워크를 제공하며, 안전하고 신뢰할 수 있는 자율 에이전트를 구축하는 데 지능적인 비균일 샘플링이 중요함을 강조한다.
