본 논문은 대규모 언어 모델(LLM)을 위한 시퀀스 수준 강화 학습 방법인 FSPO(Fair Sequence Policy Optimization)를 제안합니다. FSPO는 중요도 샘플링(IS) 가중치에 길이 공정한 클리핑을 적용하여, 기존 PPO/GRPO 방식의 클리핑이 시퀀스에 적용될 때 짧은 응답과 긴 응답의 가중치를 체계적으로 재조정하여 최적화 방향을 왜곡하는 문제를 해결합니다. FSPO는 시퀀스 로그-IS 비율을 $\sqrt{L}$에 비례하는 밴드로 클리핑하는 간단한 방법을 제시합니다. 이론적으로는 길이 재가중 오류(LRE)를 통해 길이 공정성을 공식화하고, 작은 LRE가 클리핑된 업데이트와 실제 업데이트 사이의 코사인 방향 보장을 제공함을 증명합니다. 실험적으로 FSPO는 길이 구간에 걸쳐 클리핑 비율을 평평하게 하고, 훈련을 안정화하며, Qwen3-8B-Base 모델에 대한 여러 평가 데이터 세트에서 모든 기준 모델보다 성능이 우수함을 보여줍니다.
