본 논문은 시간에 따라 변화하는 환경에서 작동하는 실세계 자율 의사결정 시스템(로봇, 추천 엔진 등)에 대한 연구를 다룬다. 기존 강화학습(RL) 방법들은 정적 환경에서 최적 정책을 학습하는 데 뛰어난 능력을 보여주지만, 데이터 집약적이며 학습과 테스트 사이에 환경이 변하지 않는다는 가정을 한다. 따라서 기존 RL 방법들은 환경 변화에 적응하는 데 어려움을 겪는다. 이 논문은 배포 중 새로운 환경 변화를 만났을 때 유용한 이전 지식을 잃지 않고 효율적으로 행동을 적응시키는 방법에 대한 근본적인 문제를 해결한다. 효율적인 온라인 적응을 위해서는 (1) 관련 경험을 식별하고 학습하는 데 도움이 되는 우선 순위 탐색 및 샘플링 전략과 (2) 재사용 가능한 구성 요소에 대한 방해 없이 업데이트할 수 있는 구조화된 표현을 통해 이전 지식을 선택적으로 보존하는 두 가지 핵심 기능이 필요함을 보여준다.
