본 논문은 물리적 로봇 환경에서 강화학습(RL)의 비동기적 접근법과 동기적 접근법의 성능을 비교 분석한 연구이다. 기존 RL 알고리즘은 물리적 환경의 실시간성을 고려하지 않고, 계산적으로 비용이 많이 드는 기울기 업데이트를 주기적으로 수행하여 의사결정과 업데이트 사이의 지연 시간을 증가시킨다. 이러한 지연은 빠르게 변화하는 환경에서 학습 에이전트의 성능을 저하시킬 수 있다. 본 연구는 Franka Emika Panda 로봇 팔을 이용하여 비동기적 RL과 동기적 RL의 성능을 비교 실험했으며, 비동기적 RL이 더 빠른 학습 속도와 높은 수익률을 달성함을 보여준다. 더 나아가, 기울기 업데이트 횟수보다 응답 시간이 빠른 에이전트가 더 나은 성능을 보임을 실험적으로 증명한다.
