강화 학습(RL)의 발전을 활용하여 대규모 언어 모델(LLM)의 추론 능력을 향상시키려는 연구. Proximal Policy Optimization (PPO)의 경량화된 변형인 Group Relative Policy Optimization (GRPO)는 효율성이 뛰어나지만, 탐험의 한계와 훈련의 불안정성으로 인해 복잡한 추론 작업에 효과가 제한됨. 이러한 문제를 해결하기 위해, 추가적인 롤아웃(rollout)을 통한 더 깊고 목표 지향적인 탐험, 저품질 샘플 제거를 통한 기울기 안정화 및 훈련 가속화, 희귀하지만 유익한 궤적의 증폭을 위한 경험 재생(experience replay)을 결합한 Exploration-Filter-Replay (EFRame) 프레임워크를 제안함. EFRame은 탐험, 효율성, 안정성의 균형을 이루는 원리적인 훈련 주기를 구축하며, 다양한 추론 벤치마크에서 GRPO 대비 37.9%의 상대적 향상을 포함한 일관된 성능 향상을 보임. 또한 EFRame은 세분화된 샘플 분류와 정밀한 엔트로피 제어를 지원하며, LLM의 심층 추론 발전을 위한 강력한 솔루션임을 강조함.
