본 논문은 비정상적인 시각 기반 강화학습 환경에서 확산 정책(Diffusion Policy)의 적용을 조사합니다. 특히, 로봇 조립 라인이나 자율 주행과 같이 작업 역학 및 목표가 시간에 따라 변화하는 실제 세계 시나리오에서 발생하는 실질적인 문제에 중점을 둡니다. 고차원 시각 입력으로부터 제어 전략을 적응해야 하는 에이전트를 위해, 반복적인 확률적 탈잡음화를 활용하여 잠재적인 행동 표현을 개선하는 확산 정책을 Procgen과 PointMaze와 같은 벤치마크 환경에 적용합니다. 실험 결과, 계산 요구량이 증가했음에도 불구하고 확산 정책은 PPO 및 DQN과 같은 표준 강화학습 방법보다 일관되게 높은 평균 및 최대 보상을 달성하고 변동성을 줄였습니다. 이러한 결과는 지속적으로 변화하는 조건에서 일관되고 문맥적으로 관련된 행동 순서를 생성하는 접근 방식의 능력을 강조하는 동시에 극단적인 비정상성을 처리하는 데 있어 개선이 필요한 영역을 강조합니다.
