Toward Real-World Cooperative and Competitive Soccer with Quadrupedal Robot Teams
Created by
Haebom
저자
Zhi Su, Yuman Gao, Emily Lukas, Yunfei Li, Jiaze Cai, Faris Tulbah, Fei Gao, Chao Yu, Zhongyu Li, Yi Wu, Koushil Sreenath
개요
본 논문은 다리 달린 로봇 간의 협력적인 팀워크를 달성하기 위한 계층적 다중 에이전트 강화 학습(MARL) 프레임워크를 제시합니다. 로봇 축구를 테스트베드로 활용하여 역동적이고 경쟁적인 다중 에이전트 상호 작용을 구현합니다. 저수준에서는 걷기, 드리블, 킥과 같은 다양한 동작 기술을 학습하고, 고수준에서는 Fictitious Self-Play(FSP)를 이용한 Multi-Agent Proximal Policy Optimization(MAPPO)로 전략적 계획 정책을 학습합니다. 이를 통해 에이전트는 다양한 상대 전략에 적응하고, 조정된 패싱, 인터셉션, 역할 분배와 같은 정교한 팀 행동을 보여줍니다. 실제 사족 보행 로봇에 적용하여 자체적인 위치 인식만을 사용하여 로봇 간, 그리고 로봇-인간 축구 경기를 실내외에서 수행하는 결과를 보여줍니다.
시사점, 한계점
•
시사점:
◦
계층적 MARL 프레임워크를 통해 다리 달린 로봇의 협력적 팀워크를 성공적으로 구현.
◦
다양한 저수준 동작 기술과 고수준 전략 계획을 결합하여 복잡한 로봇 축구 환경에서 효과적인 성능을 보임.
◦
실제 로봇 플랫폼에서 실내외 환경 모두에서 자율적인 로봇-로봇 및 로봇-인간 축구 경기 수행 가능성을 입증.
◦
FSP를 이용한 MAPPO 학습 방법의 효과성을 실험적으로 검증.
•
한계점:
◦
논문에서 구체적인 로봇 모델이나 하드웨어 사양에 대한 자세한 설명이 부족.
◦
외부 환경 인식(예: 카메라) 없이 오직 자체적인 위치 인식만을 사용하기 때문에 환경 변화에 대한 로봇의 적응력에 대한 추가적인 연구 필요.
