Hierarchical Control in Multi-Agent Games: LLM-based Planning and RL Execution

작성자

Haebom

카테고리

Empty

저자

Jannik Hosch, Alessandro Sestini, Florian Fuchs, Amir Baghi, Joakim Bergdahl, Iolanda Leite, Konrad Tollmar, Jean-Philippe Barrette-LaPierre, Linus Gisslen

💡 개요

본 논문은 복잡한 다중 에이전트 환경에서 강화학습(RL)의 확장성 문제를 해결하기 위해 계층적 제어 아키텍처를 제안한다. 사전 학습된 대규모 언어 모델(LLM)이 중앙 집중식 전략 컨트롤러 역할을 하여 전문화된 RL 스킬 정책을 선택하고, RL 정책은 저수준의 반응형 실행을 담당한다. 제안된 LLM+RL 시스템은 2v2 King of the Hill 환경에서 경쟁적인 성능을 달성했으며, 특히 수동 규칙 설계 없이도 인간과 유사한 행동과 전술적 다양성을 보여주었다.

🔑 시사점 및 한계

•

사전 학습된 LLM의 추론 능력을 활용하여 다중 에이전트 환경에서 효과적인 협력 전략을 오케스트레이션할 수 있다.

•

수동으로 규칙을 설계하지 않고도 RL 스킬을 통합하여 경쟁력 있는 다중 에이전트 협력 및 향상된 인간 유사성을 달성할 수 있다.

•

LLM 기반의 전략적 계획과 RL 기반의 실행이 결합된 하이브리드 접근 방식이 복잡한 시퀀스 의사결정 문제에 효과적임을 입증하였다.

•

LLM의 복잡한 게임 상황에 대한 이해 깊이 및 RL 스킬의 최적화 수준에 따라 전반적인 성능이 영향을 받을 수 있으며, 이는 향후 연구 과제가 될 수 있다.

PDF 보기

Made with Slashpage