본 논문은 기지국에 데이터 패킷이 확률적으로 도착하는 다운링크 재구성 가능 지능형 표면(RIS) 지원 직교 주파수 분할 다중화(OFDM) 시스템에서 평균 지연을 최적화하기 위해 공동 위상 설계 및 자원 할당 문제를 조사합니다. 순차적 최적화 문제는 본질적으로 마르코프 의사 결정 프로세스(MDP)이므로 강화 학습의 범위에 속합니다. 혼합된 행동 공간을 효과적으로 처리하고 상태 공간 차원을 줄이기 위해 하이브리드 심층 강화 학습(DRL) 접근 방식을 제안합니다. 구체적으로, Proximal Policy Optimization (PPO)-$\Theta$는 RIS 위상 이동 설계를 최적화하는 데 사용되고, PPO-N은 부반송파 할당 결정을 담당합니다. 부반송파 할당과 관련된 차원의 저주를 더 완화하기 위해 다중 에이전트 전략을 도입하여 부반송파 할당 지표를 더 효율적으로 최적화합니다. 또한, 더욱 적응적인 자원 할당을 달성하고 네트워크 역학을 정확하게 포착하기 위해 버퍼의 대기 패킷 수와 현재 패킷 도착률을 포함한 평균 지연과 밀접하게 관련된 주요 요소가 상태 공간에 통합됩니다. 또한, 전이 학습 프레임워크를 도입하여 훈련 효율을 높이고 수렴을 가속화합니다. 시뮬레이션 결과는 제안된 알고리즘이 평균 지연을 크게 줄이고, 자원 할당 효율을 향상시키며, 기준 방법과 비교하여 우수한 시스템 강건성과 공정성을 달성함을 보여줍니다.
