본 논문은 강화학습(RL) 기반 로봇 제어의 훈련 시간을 단축시키는 새로운 알고리즘인 FastTD3를 제안합니다. 기존 RL 알고리즘의 복잡성과 긴 훈련 시간 문제를 해결하기 위해, 병렬 시뮬레이션, 대용량 배치 업데이트, 분포형 비평가, 그리고 세밀하게 조정된 하이퍼파라미터를 사용하는 수정된 TD3 에이전트를 제시합니다. FastTD3는 HumanoidBench, IsaacLab, MuJoCo Playground와 같은 다양한 로봇 시뮬레이션 환경에서 효율적인 학습을 보여주며, 단일 A100 GPU에서 여러 HumanoidBench 과제를 3시간 이내에 해결합니다. 또한, 간편하고 사용하기 쉬운 FastTD3 구현체를 제공하여 로봇 분야의 RL 연구를 가속화하고자 합니다.
