본 논문은 Transformer 모델을 이용한 다변수 다항식 분해 문제 해결에 대한 연구를 다룬다. 다항식 분해는 과학 및 공학 분야에서 널리 응용되지만 NP-hard 문제로 알려져 있으며, 높은 정확도와 통찰력을 요구한다. 본 연구는 문제 복잡도를 세밀하게 제어할 수 있는 합성 데이터 생성 파이프라인을 개발하고, 지도 학습을 통해 Transformer 모델을 학습시켜 스케일링 동작 및 일반화 성능을 평가한다. 또한, 어려운 대수 문제에 적합한 계층 인식 강화 학습 방법인 Beam Grouped Relative Policy Optimization (BGRPO)를 제안한다. BGRPO를 사용한 미세 조정은 정확도를 향상시키고 빔 너비를 최대 절반까지 줄여 추론 연산량을 약 75% 감소시킨다. 더불어, 제안된 모델은 다항식 단순화에서 Mathematica를 능가하는 성능을 보여준다.
