본 논문은 복잡한 명령, 특히 병렬, 연쇄, 분기 구조로 구성된 여러 제약 조건이 존재하는 경우 기존 대규모 언어 모델(LLM)의 한계를 다룹니다. 사고 연쇄(CoT) 방법이 LLM의 성능을 향상시킬 것으로 예상되지만, 단순히 명령을 바꿔 쓰는 피상적인 추론 패턴으로 인해 성능 저하를 초래할 수 있음을 밝힙니다. 따라서 본 논문에서는 기존 분류 체계에 따른 복잡한 명령의 분해를 기반으로 재현 가능한 데이터 획득 방법을 제안하고, 검증 가능한 규칙 중심 보상 신호를 사용하는 강화 학습(RL)을 통해 명령 수행을 위한 추론 능력을 향상시키는 체계적인 방법을 제시합니다. 복잡한 명령 하에서의 피상적이고 비본질적인 추론의 성격을 해결하기 위해 샘플 간 대조를 통해 우수한 CoT 적용을 수행하고, 전문가의 행동 복제를 활용하여 빠른 사고 LLM에서 숙련된 추론자로의 안정적인 분포 이동을 촉진합니다. 7개의 종합적인 벤치마크에 대한 광범위한 평가를 통해 제안된 방법의 타당성을 확인했으며, 15억 매개변수 LLM이 80억 매개변수 LLM과 비슷한 성능으로 11.74%의 성능 향상을 달성했습니다.
