본 논문은 현대적인 리스트 방식 추천 시스템에서 장기적인 사용자 인식과 단기적인 관심 변화를 모두 고려해야 할 필요성을 제기하며, 계층적 강화 학습(hierarchical reinforcement learning)을 활용한 새로운 프레임워크 mccHRL을 제안합니다. mccHRL은 리스트 방식 추천 문제에 대해 시간적 추상화의 여러 수준을 제공합니다. 상위 에이전트는 사용자 인식의 변화를 연구하고, 하위 에이전트는 순차적 의사결정 문제로 모델링하여 아이템 선택 정책을 생성합니다. 이러한 프레임워크는 세션 간 맥락(상위 에이전트)과 세션 내 맥락(하위 에이전트)의 명확한 분해를 제공한다고 주장하며, 시뮬레이터 기반 환경과 산업 데이터셋 기반 실험을 통해 여러 기준 모델과 비교하여 성능 향상을 확인했습니다. 데이터와 코드는 공개되었습니다.
