본 논문은 인간형 로봇의 강화학습(RL) 훈련 속도를 크게 향상시키는 새로운 알고리즘인 FastTD3를 제안합니다. 기존 RL의 복잡성과 긴 훈련 시간 문제를 해결하기 위해, 병렬 시뮬레이션, 대규모 배치 업데이트, 분포형 비평가, 그리고 세심하게 조정된 하이퍼파라미터를 사용하는 off-policy TD3 에이전트를 제시합니다. HumanoidBench, IsaacLab, MuJoCo Playground와 같은 인기있는 로봇 시뮬레이션 환경에서 효율적인 훈련을 보여주며, 단일 A100 GPU에서 여러 HumanoidBench 과제를 3시간 이내에 해결합니다. 또한, 쉽고 가벼운 FastTD3 구현을 제공하여 로봇 분야의 RL 연구를 가속화하고자 합니다.
