# BeamDojo: Learning Agile Humanoid Locomotion on Sparse Footholds

### 저자

Huayi Wang, Zirui Wang, Junli Ren, Qingwei Ben, Tao Huang, Weinan Zhang, Jiangmiao Pang

### 개요

본 논문은 험난하고 발 디딜 곳이 부족한 지형에서의 인간형 로봇의 이동성 향상을 위한 강화학습 기반 프레임워크인 BeamDojo를 제시합니다.  기존의 사족보행 로봇에 적용된 방법론들이 인간형 로봇의 발 형태 및 불안정한 형태학적 특징으로 인해 일반화되지 못하는 문제점과, 복잡한 지형에서의 희소한 발 디딤 점 보상 신호 및 비효율적인 학습 과정으로 인한 학습 기반 인간형 로봇 이동 방법론의 한계를 극복하기 위해, BeamDojo는 다각형 발에 맞춤화된 샘플링 기반 발 디딤 점 보상과 이중 비평가를 도입하여 밀집된 이동 보상과 희소한 발 디딤 점 보상 간의 학습 과정의 균형을 맞춥니다. 충분한 시행착오 탐색을 장려하기 위해, BeamDojo는 두 단계의 강화학습 접근 방식을 통합합니다. 첫 번째 단계에서는 평평한 지형에서 인간형 로봇을 훈련시키면서 작업 지형 인식 관찰을 제공하여 지형 역학을 완화하고, 두 번째 단계에서는 실제 작업 지형에서 정책을 미세 조정합니다.  또한, 실제 환경에서의 배포를 위해 차량 탑재형 LiDAR 기반 고도 지도를 구현했습니다. 광범위한 시뮬레이션 및 실제 환경 실험을 통해 BeamDojo가 시뮬레이션에서 효율적인 학습을 달성하고, 실제 환경에서 희소한 발 디딤 점을 가진 지형에서 정밀한 발 위치를 가진 민첩한 이동을 가능하게 하며, 상당한 외부 방해에도 높은 성공률을 유지함을 보여줍니다.

### 시사점, 한계점

- **시사점:**

    - 희소한 발 디딤 점 지형에서 인간형 로봇의 민첩한 이동을 위한 효율적인 강화학습 프레임워크(BeamDojo) 제시

    - 다각형 발에 최적화된 샘플링 기반 발 디딤 점 보상 및 이중 비평가 기법을 통한 안정적인 학습 과정 구현

    - 두 단계 강화학습 접근 방식을 통한 효율적인 탐색 및 학습

    - LiDAR 기반 고도 지도를 활용한 실제 환경 적용 가능성 입증

    - 시뮬레이션 및 실제 환경 실험을 통해 높은 성공률과 외부 방해에 대한 강건성을 확인

- **한계점:**

    - 현재는 특정 형태의 지형과 인간형 로봇에 국한된 결과. 다양한 지형 및 로봇 형태에 대한 일반화 가능성 검증 필요.

    - 실제 환경 적용 시 LiDAR의 정확도 및 센서 오류에 대한 영향 고려 필요.

    - 계산 비용 및 학습 시간에 대한 추가적인 최적화 필요.

    - 더욱 복잡하고 다양한 지형 조건에 대한 추가적인 실험 및 검증 필요.

[PDF 보기](https://arxiv.org/pdf/2502.10363)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).