본 논문은 역전파 없이 자동 미분(AD)의 전방향 모드를 이용하여 미분 가능한 모델의 최적화를 수행하는 방법을 제시합니다. 전방향 모드 AD는 모델의 각 순전파마다 접선 벡터를 샘플링하며, 이를 통해 접선 방향의 방향 도함수를 포함한 모델 평가를 수행합니다. 본 논문에서는 이 접선 벡터의 샘플링을 Metropolis-Adjusted Langevin Algorithm (MALA)의 제안 메커니즘에 통합하는 방법을 보여줍니다. 이를 통해 역전파가 필요 없는 기울기 기반 Markov Chain Monte Carlo (MCMC) 알고리즘을 처음으로 소개합니다. 또한, 헤시안 정보를 활용하는 새로운 역전파 없는 위치 특정 사전 조건화 전방향 모드 MALA를 확장합니다. 총 네 가지 새로운 알고리즘(Forward MALA, Line Forward MALA, Pre-conditioned Forward MALA, Pre-conditioned Line Forward MALA)을 제안하며, 전방향 모드 샘플러의 계산 비용 감소를 강조하고, 원래 MALA와 경쟁력이 있으며 확률적 모델에 따라 성능을 능가함을 보여줍니다. 계층적 분포 및 베이지안 신경망을 포함한 다양한 확률적 모델에 대한 베이지안 추론 결과를 포함합니다.
