임베디드 하드웨어에서 연속 제어 강화 학습 정책을 배포하려면 엄격한 지연 시간 및 전력 예산을 충족해야 한다. 작은 FPGA는 이를 제공할 수 있지만, 비용이 많이 드는 부동 소수점 파이프라인을 피해야 한다. 본 논문에서는 정수 추론을 위한 양자화 인식 훈련(QAT)을 연구하고, 저비트 정책을 자동으로 선택하여 Artix-7 FPGA로 합성하는 학습-하드웨어 파이프라인을 제시한다. 5개의 MuJoCo 작업에서, 입력 정밀도를 신중하게 선택하는 한, 가중치당 3비트 또는 2비트, 내부 활성 값당 2비트만 요구하면서도 완전 정밀도(FP32) 정책과 경쟁할 수 있는 정책 네트워크를 얻었다. 대상 하드웨어에서 선택된 정책은 마이크로초 단위의 추론 지연 시간을 달성하고 액션당 마이크로줄의 전력을 소비하며, 양자화된 레퍼런스와 비교하여 유리하다. 마지막으로, 양자화된 정책이 부동 소수점 기준선에 비해 입력 노이즈에 대한 견고성이 증가하는 것을 관찰했다.
