본 논문은 Proximal Policy Optimization(PPO) 알고리즘의 Generalized Advantage Estimation(GAE) 단계를 최적화하기 위해 설계된 FPGA 기반 가속기인 HEPPO-GAE를 소개한다. 기존의 trajectory collection과 actor-critic 업데이트에 초점을 맞춘 접근 방식과 달리, HEPPO-GAE는 단일 시스템온칩(SoC)에 구현된 병렬 파이프라인 아키텍처를 통해 GAE의 계산 요구 사항을 해결한다. 다양한 PPO 단계에 맞춤화된 하드웨어 가속기를 적용할 수 있도록 설계되었으며, 동적 보상 표준화와 값에 대한 블록 표준화를 결합한 전략적 표준화 기법과 8비트 균일 양자화를 통해 학습 안정성을 높이고 성능을 향상시키며 메모리 병목 현상을 관리하여 메모리 사용량을 4배 감소시키고 누적 보상을 1.5배 증가시켰다. 프로그래머블 로직과 임베디드 프로세서를 갖춘 단일 SoC 장치에서의 솔루션을 제안하여 기존 CPU-GPU 시스템보다 훨씬 높은 처리량을 제공하며, 통신 지연 시간과 처리량 병목 현상을 최소화하여 PPO 학습 효율을 크게 향상시킨다. 실험 결과, PPO 속도가 30% 증가하고 메모리 접근 시간이 크게 감소하여 하드웨어 효율적인 강화 학습 알고리즘에 대한 HEPPO-GAE의 광범위한 적용 가능성을 보여준다.
