본 논문은 동적인 보행자 환경에서의 모바일 로봇 내비게이션 문제를 다룬다. 기존의 규칙 기반 접근법보다 우수한 성능을 보이는 심층 강화 학습 기반 방법들 중, 연속적인 행동 공간을 가정하는 방법들은 일반적으로 가우시안 분포 가정에 의존하여 행동 생성의 유연성이 제한된다. 본 연구는 강화 학습에 확산 모델을 적용하여 가우시안 분포 기반 접근법보다 유연한 행동 분포를 가능하게 하는 방법을 제시하고, 사회적 내비게이션에 적용하여 효과를 검증한다. 또한 확산 모델의 특징을 활용하여 학습 후 행동의 부드러움을 향상시키고, 학습 단계에서 고려되지 않은 정적 장애물 시나리오에 적응할 수 있도록 확장된 방법을 제안한다.