본 논문은 메모리 및 연산 자원이 제한된 환경에서 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위한 강화 학습(RL) 전략을 제안합니다. 특히 LoRA 미세 조정과의 호환성에 중점을 두고, 기존 정책 경사 방법을 기반으로 메모리 사용량을 줄이고 훈련 안정성을 높이기 위해 비평가 없는(critic-free) 방법을 설계했습니다. 저자들은 S-GRPO(확률적 그룹 상대 정책 최적화)와 토큰 수준 접두사 매칭 기법인 T-SPMO를 제안하여 세분화된 크레딧 할당을 수행합니다. Qwen2-1.5B 모델에 적용한 결과, SVAMP 벤치마크의 정확도를 46%에서 70% 이상으로 향상시켰으며, 다자리 숫자 곱셈에서도 우수한 성능을 보였습니다. 흥미롭게도, LoRA 하에서 전체 토큰 GRPO는 기본 모델보다 성능이 향상되지 않았는데, 이는 저 매개변수 훈련 환경에서 선택적 토큰 수준 최적화가 암묵적인 규제자 역할을 할 수 있음을 시사합니다.
