본 논문은 그룹 기반 강화 학습(RL)의 장점을 유지하면서 다중 턴 LLM 에이전트 훈련의 한계를 극복하기 위해 제안된 새로운 RL 알고리즘인 Group-in-Group Policy Optimization (GiGPO)를 소개한다. GiGPO는 에피소드 레벨의 매크로 상대적 이점과 단계 레벨의 마이크로 상대적 이점을 추정하는 2단계 구조를 통해 미세한 수준의 크레딧 할당을 수행한다. 이 알고리즘은 critic-free, 낮은 메모리 사용량, 안정적인 수렴의 장점을 가지며, ALFWorld, WebShop, 검색 증강 QA 작업과 같은 다양한 에이전트 벤치마크에서 GRPO보다 뛰어난 성능을 보였다.
