본 논문은 강화학습(RL)에서 구성적인 지식 표현을 위한 범주론적 프레임워크를 제시한다. 기존의 구성적 모델 생성은 구성성의 강건성을 위한 최소한의 가정을 특징짓는 데 어려움이 있었는데, 본 논문은 범주 $\mathsf{MDP}$(Markov Decision Processes의 범주)를 이용하여 이 문제를 해결한다. $\mathsf{MDP}$의 객체는 작업 모델로서의 MDP이며, 범주론적 의미론은 퍼즐 조각 결합과 유사한 pushout 연산을 통해 작업의 구성성을 모델링한다. 실제 적용으로 zig-zag diagrams를 소개하며, 이는 $\mathsf{MDP}$ 범주의 구성적 보장에 의존한다. 또한, $\mathsf{MDP}$ 범주의 특성이 안전 요구 사항 적용 및 대칭성 활용과 같은 개념을 통합하고 이전의 RL 추상화 이론을 일반화한다는 것을 증명한다.
