본 논문은 저비용 4족 보행 로봇의 실세계 방향 이동 제어를 위한 심층 강화 학습(DRL) 훈련 방법을 제시합니다. 특히, 로봇이 따라야 하는 방향을 무작위로 설정하여 전진 이동과 방향 조정 학습에 유용한 행동-상태 전이 탐색을 촉진합니다. 에피소드 재설정 시 현재 방위각에 정규 분포에서 추출된 무작위 값을 더하여 방향을 변경함으로써, 양방향으로 잦은 회전과 긴 직선 구간을 포함하는 복잡한 궤적을 따라갈 수 있는 정책을 생성합니다. 방향을 반복적으로 변경함으로써 로봇이 훈련 플랫폼 내에서 계속 움직이도록 하여 사람의 개입과 수동 재설정의 필요성을 줄입니다. 맞춤형 저비용 4족 보행 로봇을 이용한 실제 실험을 통해 제시된 방법의 효과를 입증하며, 모든 검증 테스트를 성공적으로 통과했습니다. 다른 접근 방식으로 훈련했을 때는 로봇이 전진 이동 테스트에서만 성공하고 회전이 필요한 경우에는 실패했습니다.
