본 논문은 복잡한 명령, 특히 병렬, 연쇄, 분기 구조로 구성된 여러 제약 조건이 존재하는 경우 기존의 대규모 언어 모델(LLM)의 한계를 다룹니다. 기존의 사고 연쇄(CoT) 방식이 LLM의 성능을 향상시킬 것이라는 기대와 달리, 단순히 명령을 바꿔 쓰는 피상적인 추론 패턴으로 인해 성능 저하를 야기한다는 것을 발견했습니다. 따라서 본 논문은 테스트 시간 계산 확장을 위한 추론을 유도하여 복잡한 명령을 처리하는 LLM의 성능을 향상시키는 체계적인 방법을 제안합니다. 기존 분류 체계에 따른 복잡한 명령의 분해를 기반으로 재현 가능한 데이터 획득 방법을 제안하고, 검증 가능한 규칙 중심 보상 신호를 사용하는 강화 학습(RL)을 통해 명령어 준수를 위한 추론 능력을 배양합니다. 또한, 우수한 CoT 적용을 위한 표본 간 대조를 통해 복잡한 명령 하에서의 피상적이고 비본질적인 추론의 특성을 해결하고, 전문가의 행동 복제를 활용하여 빠른 사고 LLM에서 숙련된 추론자로의 안정적인 분포 변화를 용이하게 합니다. 7가지 종합 벤치마크에 대한 광범위한 평가는 제안된 방법의 유효성을 확인하며, 15억 매개변수 LLM이 80억 매개변수 LLM과 비슷한 성능으로 11.74%의 성능 향상을 달성했습니다.
