본 논문은 불완전한 상황 인식과 비선형 비행 역학으로 인해 어려운 현실적인 공중전 시뮬레이션에서 임무 목표를 달성하는 것을 목표로 한다. 이를 위해 3D 다중 에이전트 공중전 환경과 계층적 다중 에이전트 강화 학습 프레임워크를 제안한다. 제안하는 접근 방식은 이질적인 에이전트 역학, 교육 과정 학습, 리그 플레이, 새롭게 적응된 훈련 알고리즘을 결합한다. 의사 결정 과정은 두 가지 추상화 수준으로 구성된다. 낮은 수준의 정책은 정확한 제어 기동을 학습하고, 높은 수준의 정책은 임무 목표에 따라 전술 명령을 내린다. 실험 결과는 제안하는 계층적 접근 방식이 복잡한 도그파이트 시나리오에서 학습 효율성과 전투 성능을 모두 향상시킨다는 것을 보여준다.
