인간형 로봇의 양팔 및 정교한 손을 위한 자동화된 작업 생성 및 시연 수집 프레임워크인 HumanoidGen을 제시합니다. 원자적 정교한 동작과 LLM 추론을 활용하여 관계적 제약 조건을 생성합니다. 자산과 정교한 손에 대한 공간 주석을 제공하고, 객체 어포던스와 장면에 기반하여 팔 움직임을 위한 일련의 실행 가능한 공간 제약 조건을 생성하기 위해 LLM 플래너를 사용합니다. 장기적인 작업 및 불충분한 주석에 대한 LLM 추론을 향상시키기 위해 몬테카를로 트리 탐색 변형을 사용합니다. 생성된 데이터의 품질을 평가하기 위해 확장된 시나리오를 갖춘 새로운 벤치마크를 생성합니다.
시사점, 한계점
•
인간형 로봇의 양손 및 정교한 손을 위한 데이터 부족 문제를 해결.
•
원자적 정교한 동작과 LLM을 활용한 자동화된 작업 생성.
•
LLM 추론을 개선하기 위한 몬테카를로 트리 탐색 적용.
•
데이터 품질 평가를 위한 새로운 벤치마크 생성.
•
주로 시뮬레이션 환경에 초점을 맞추고 있으며, 실제 로봇 시스템에서의 검증에 대한 정보는 제한적일 수 있음.
