확률적 언어 모델(dLLM)에 강화 학습(RL)을 적용할 때 발생하는 어려움은 RL 목적에 필수적인 가능도 함수(likelihood function)의 계산 불가능성이다. 기존 방법은 증거 하한(ELBO)을 통해 가능도를 근사하지만, 각 훈련 단계에서 상당한 메모리 오버헤드가 발생한다. 본 논문은 메모리 효율적인 RL 알고리즘인 Boundary-Guided Policy Optimization (BGPO)을 제안한다. BGPO는 ELBO 기반 목적 함수의 특별히 구성된 하한을 최대화하며, 선형성과 등가성이라는 두 가지 주요 속성을 충족한다. 실험 결과, BGPO는 수학 문제 풀이, 코드 생성 및 계획 과제에서 이전 RL 알고리즘보다 뛰어난 성능을 보였다.
