본 논문은 첨단 네트워크의 연결성, 신뢰성, 낮은 지연 시간 및 운영 효율성에 대한 증가하는 요구를 충족하기 위한 강력한 솔루션으로 부상한 심층 강화 학습(DRL)의 실제 배포에 초점을 맞추고 있습니다. ETSI MEC와 Open RAN을 통합하는 오케스트레이션 프레임워크를 제시하여 다양한 시간 척도에서 DRL 기반 전략의 원활한 채택과 에이전트 수명 주기 관리를 향상시킵니다. 실제 배포를 저해하는 세 가지 주요 과제(예측 불가능하거나 버스트 트래픽으로 인한 비동기 요청, 이기종 토폴로지 및 변화하는 서비스 요구 사항에 대한 적응력 및 일반화, 라이브 운영 환경에서 탐색으로 인한 장기간의 수렴 및 서비스 중단)를 확인하고, 비동기 트래픽 처리를 위한 고급 시계열 통합, 이기종 시나리오를 지원하기 위한 다중 에이전트 DRL 및 증분 학습과 같은 유연한 아키텍처 설계, 수렴 시간 및 서비스 중단을 줄이기 위한 전이 학습을 통한 시뮬레이션 기반 배포라는 세 가지 해결 전략을 제안합니다. 마지막으로 도시 전역 테스트 인프라에서 MEC-O-RAN 아키텍처의 실현 가능성을 검증하고, 두 가지 실제 사용 사례를 통해 세 가지 확인된 과제를 보여주고 제안된 솔루션의 효과를 입증합니다.
