Toward Real-World Cooperative and Competitive Soccer with Quadrupedal Robot Teams
Created by
Haebom
저자
Zhi Su, Yuman Gao, Emily Lukas, Yunfei Li, Jiaze Cai, Faris Tulbah, Fei Gao, Chao Yu, Zhongyu Li, Yi Wu, Koushil Sreenath
개요
본 논문은 다리 달린 로봇 간의 협력적인 팀워크를 달성하기 위한 계층적 다중 에이전트 강화 학습(MARL) 프레임워크를 제시합니다. 로봇 축구를 테스트 환경으로 활용하여 역동적이고 경쟁적인 다중 에이전트 상호 작용을 구현합니다. 저수준에서는 걷기, 드리블, 킥과 같은 다양한 동작 기술을 학습하고, 고수준에서는 Fictitious Self-Play(FSP)를 이용한 MAPPO(Multi-Agent Proximal Policy Optimization)를 통해 전략적 계획 정책을 학습합니다. 이를 통해 에이전트는 다양한 상대 전략에 적응하고, 협력적인 패싱, 인터셉션, 역할 분담 등의 정교한 팀 행동을 보여줍니다. 실제 사족보행 로봇에 적용하여 자체적인 위치 인식만으로 자율적인 로봇 간 및 로봇-인간 축구 경기를 실내외에서 수행합니다.
시사점, 한계점
•
시사점:
◦
다리 달린 로봇의 협력적인 팀워크를 위한 효과적인 MARL 프레임워크 제시.
◦
저수준 동작 기술과 고수준 전략적 계획의 계층적 통합을 통한 고성능 달성.
◦
다양한 상대 전략에 대한 적응력과 정교한 팀 행동(패싱, 인터셉션, 역할 분담) 구현.
◦
실제 로봇 플랫폼을 이용한 실험을 통해 실제 환경에서의 성능 검증.
•
한계점:
◦
논문에서 구체적인 환경 설정(예: 로봇 사양, 경기장 크기 등)에 대한 자세한 설명 부족.
◦
FSP를 사용한 학습 과정의 계산 비용 및 수렴 속도에 대한 분석 부족.
◦
다양한 외부 요인(예: 불규칙한 지형, 예측 불가능한 상대 행동)에 대한 로봇의 강건성에 대한 평가 부족.
