Deep Reinforcement Learning for Wireless Scheduling in Distributed Networked Control
Created by
Haebom
저자
Gaoyang Pang, Kang Huang, Daniel E. Quevedo, Branka Vucetic, Yonghui Li, Wanchun Liu
개요
본 논문은 제한된 주파수 채널을 가진 완전 분산 무선 네트워크 제어 시스템(WNCS)의 공동 업링크 및 다운링크 스케줄링 문제를 다룬다. 확률 시스템 이론의 요소들을 사용하여 제어 및 통신 시스템 매개변수 모두를 고려한 WNCS의 충분 조건을 도출한다. 이 조건이 만족되면 모든 WNCS 플랜트를 안정화할 수 있는 정상적이고 결정적인 스케줄링 정책이 존재한다. 유한 길이 가산 벡터 상태로 WNCS의 단계별 비용 함수를 분석하고 표현함으로써 최적 전송 스케줄링 문제를 마르코프 의사결정 과정으로 공식화하고 이를 해결하기 위한 심층 강화 학습(DRL) 기반 프레임워크를 개발한다. DRL에서 큰 행동 공간의 문제를 해결하기 위해 DQN, DDPG, TD3 등 다양한 알고리즘에 적용할 수 있는 새로운 행동 공간 축소 및 행동 임베딩 방법을 제안한다. 수치 결과는 제안된 알고리즘이 벤치마크 정책보다 훨씬 우수한 성능을 보임을 보여준다.
시사점, 한계점
•
시사점: 제한된 주파수 채널을 갖는 분산 WNCS를 위한 효율적인 스케줄링 정책을 DRL 기반 프레임워크를 통해 제시. 큰 행동 공간 문제 해결을 위한 새로운 행동 공간 축소 및 임베딩 방법 제안. 다양한 DRL 알고리즘에 적용 가능성을 보임. 벤치마크 정책 대비 성능 향상을 실험적으로 검증.
•
한계점: 제안된 알고리즘의 성능은 특정 시뮬레이션 환경에 의존적일 수 있음. 실제 무선 환경에서의 성능 검증 필요. 더욱 복잡한 네트워크 토폴로지나 채널 모델에 대한 일반화 가능성에 대한 추가 연구 필요. 안정성 조건의 보수성에 대한 추가 분석 필요.
