본 논문은 강화학습 에이전트가 기존에 알지 못했던 상태(unknown unknown)에 도달하는 상황을 수학적으로 모델링하고 해결하는 방법을 제시합니다. 에이전트가 알고 있는 영역(aware domain)을 벗어나는 상태에 도달하면, 기존의 가치 함수(Q, V)를 비정보적 가치 확장(NIVE) 기법을 사용하여 새롭게 인식된 영역으로 확장합니다. NIVE는 새롭게 발견된 상태에 대한 지식이 전무하다는 점을 고려하여 기존 영역의 평균 가치로 가치 함수를 초기화합니다. 이를 위해 성장하는 인식을 가진 에피소드적 마르코프 의사결정 과정(EMDP-GA) 모델을 제안하고, 상한 신뢰 구간 모멘텀 Q-러닝을 EMDP-GA 모델 학습에 적용합니다. 극도로 불확실한 환경에서도 제안된 방법의 후회(regret)가 최첨단(SOTA) 방법과 점근적으로 일치하며, 계산 복잡도와 공간 복잡도 또한 SOTA와 비슷함을 증명합니다.
