Enhancing Aerial Combat Tactics through Hierarchical Multi-Agent Reinforcement Learning
Created by
Haebom
저자
Ardian Selmonaj, Oleg Szehr, Giacomo Del Rio, Alessandro Antonucci, Adrian Schneider, Michael Ruegsegger
개요
본 논문은 이기종 에이전트가 포함된 시뮬레이션된 공중전 시나리오를 분석하기 위한 계층적 다중 에이전트 강화학습 프레임워크를 제시합니다. 목표는 사전 설정된 시뮬레이션 내에서 임무 성공으로 이어지는 효과적인 작전 방침을 식별하여 저렴한 비용으로 그리고 안전한 실패 환경에서 실제 방어 시나리오를 탐색할 수 있도록 하는 것입니다. 이러한 맥락에서 심층 강화학습을 적용하는 것은 복잡한 비행 역학, 다중 에이전트 시스템에서 상태 및 행동 공간의 기하급수적인 크기, 그리고 개별 유닛의 실시간 제어와 선행 계획 통합 능력과 같은 특정 과제를 제기합니다. 이러한 과제를 해결하기 위해 의사 결정 프로세스는 두 가지 추상화 수준으로 나뉩니다. 저수준 정책은 개별 유닛을 제어하고, 고수준 사령관 정책은 전체 임무 목표에 맞춰 매크로 명령을 발행합니다. 이러한 계층적 구조는 개별 에이전트의 정책 대칭성을 활용하고 제어 작업과 명령 작업을 분리함으로써 훈련 프로세스를 용이하게 합니다. 저수준 정책은 점점 더 복잡해지는 커리큘럼에서 개별 전투 제어를 위해 훈련됩니다. 그런 다음 고수준 사령관은 사전 훈련된 제어 정책이 주어진 임무 목표에 대해 훈련됩니다. 실험적 검증은 제안된 프레임워크의 장점을 확인합니다.
