Este artículo presenta un marco jerárquico de aprendizaje por refuerzo multiagente (MARL) para lograr el trabajo en equipo cooperativo entre robots con patas. Utilizando el fútbol robótico como entorno de prueba, implementamos interacciones multiagente dinámicas y competitivas. A nivel básico, aprendemos diversas habilidades de movimiento, como caminar, regatear y patear. A nivel avanzado, aprendemos políticas de planificación estratégica mediante Optimización de Políticas Proximales Multiagente (MAPPO) con Juego Autoficticio Ficticio (FSP). Esto permite a los agentes adaptarse a diversas estrategias del oponente y demostrar comportamientos de equipo sofisticados, como pases cooperativos, intercepciones y reparto de roles. Aplicamos este marco a robots cuadrúpedos reales para realizar partidos de fútbol autónomos robot-robot y robot-humano, tanto en interiores como en exteriores, utilizando únicamente su propia conciencia posicional.