본 논문은 메모리 및 연산 자원이 제한된 환경에서 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위한 강화 학습(RL) 전략을 제안한다. 특히 LoRA 미세 조정과의 호환성에 중점을 두고, 기존 정책 경사 방법을 기반으로 메모리 사용량을 줄이고 훈련 안정성을 높이는 비평가(critic-free) 방법을 설계하였다. 저자들은 그룹 상대 정책 최적화(GRPO)의 확률적 변형인 S-GRPO와 세분화된 크레딧 할당을 위한 토큰 수준 접두사 매칭 기법인 T-SPMO를 제안한다. Qwen2-1.5B 모델에 적용한 결과, SVAMP 벤치마크에서 정확도를 46%에서 70% 이상으로 향상시켰으며, 다 자릿수 곱셈에서도 우수한 성능을 보였다. 놀랍게도, LoRA 하에서 전체 토큰 GRPO는 기본 모델보다 성능이 향상되지 않았는데, 이는 저 매개변수 훈련 체제에서 선택적 토큰 수준 최적화가 암묵적 정규화 역할을 할 수 있음을 시사한다.
