본 논문은 강화학습(Reinforcement Learning, RL)에서 역전파(backpropagation)에 의존하지 않는 새로운 학습 규칙을 제시합니다. 기존의 보상 조절 헤브 학습(Reward-Modulated Hebbian Learning, RMHL)의 한계를 극복하기 위해, 방향 도함수 이론과 헤브 학습 업데이트를 결합하여 기울기가 필요 없는 효율적인 학습을 가능하게 합니다. 이 방법은 확률적 잡음 뉴런을 사용하여 기울기를 근사하고, 전역 보상 신호로 조절되는 국소 시냅스 업데이트를 생성합니다. 보상 예측 오차를 최적화 목표로 사용하고, 적격성 추적(eligibility trace)을 통해 지연된 보상 환경에서의 시간적 신용 할당을 용이하게 합니다. 국소 정보만을 사용하므로 뉴로모픽 하드웨어 구현과의 호환성이 높습니다. 실험 결과, 제안된 방법이 RMHL을 상당히 능가하며 역전파 기반 기준 모델과 경쟁력을 갖는다는 것을 보여줍니다. 이는 저전력 및 실시간 애플리케이션을 위한 잡음 기반 생물학적 영감 학습의 가능성을 강조합니다.
