本文提出了一种解决名为3v3多无人机排球的新型具身竞技任务的方法。这是一个回合制、多智能体、基于物理机制的任务，需要高级战略协调和低级敏捷控制。长期依赖关系、紧密的智能体间耦合以及四旋翼飞行器有限的动态性能带来了重大挑战。为了应对这些挑战，我们提出了分层协作自对弈（HCSP），这是一个分层强化学习框架，将集中式高级战略决策与分布式低级运动控制分离。我们设计了一个三阶段的群体学习流程，无需专家演示即可从零开始生成策略和技能：(I) 多样化的低级技能训练；(II) 使用固定的低级技能通过自对弈进行高级策略学习；以及 (III) 通过协作自对弈进行联合微调。实验结果表明，HCSP 的表现优于非分层自对弈和基于规则的分层基线算法，平均胜率达到 82.9%，两阶段变体的胜率更是高达 71.5%。此外，协作式自对弈能够引发角色转换和协同编队等新颖的团队行为，展现了分层设计和训练方法的有效性。
