본 논문은 오프라인 강화학습(offline RL)에서 복잡하고 장기간의 작업을 해결하기 위해 시간적 추상화로서 기술(skill)을 도입하고, 연속적인 잠재 공간 내에서 주로 모델링되는 기존의 기술과 달리, 이산적인 기술 공간의 잠재력을 탐구합니다. 최첨단 변환기 기반 인코더와 확산 기반 디코더를 사용하여 이산적인 기술 공간을 구축하고, 오프라인 강화학습 기법을 통해 훈련된 상위 정책과 결합하여 계층적 강화학습 프레임워크를 제시합니다. 제안된 알고리즘인 DDS(Discrete Diffusion Skill)는 다양한 작업에서 경쟁력 있는 성능을 보이며, 특히 장기간 작업에서 기존 방법보다 최소 12% 향상된 성능을 보입니다. 또한, 해석 가능성, 훈련 안정성 및 온라인 탐색 측면에서도 개선된 성능을 제공합니다.
