본 논문은 복잡한 명령, 특히 병렬, 연쇄, 분기 구조로 구성된 여러 제약 조건이 존재하는 경우 기존의 대규모 언어 모델(LLM)이 명령을 따르는 데 어려움을 겪는다는 문제를 다룹니다. 연쇄적 사고(CoT) 방식이 LLM의 성능을 향상시킬 것으로 기대되지만, 단순히 명령을 바꿔 말하는 표면적인 추론 패턴으로 인해 오히려 성능 저하를 초래할 수 있음을 발견했습니다. 이에 따라, 본 논문에서는 테스트 시간 계산 규모를 확장하여 추론을 유도함으로써 복잡한 명령을 처리하는 LLM의 성능을 향상시키는 체계적인 방법인 RAIF를 제안합니다. RAIF는 기존 분류 체계에 따른 복잡한 명령의 분해와 재현 가능한 데이터 획득 방법, 검증 가능한 규칙 중심 보상 신호를 사용한 강화 학습(RL)을 통해 명령 수행을 위한 추론을 육성하고, 표본 간 대조를 통해 복잡한 명령 하에서의 피상적이고 비본질적인 추론의 성격을 해결하며, 전문가의 행동 복제를 활용하여 빠른 사고의 LLM에서 숙련된 추론자로의 안정적인 분포 이동을 용이하게 합니다. 7개의 종합적인 벤치마크에 대한 광범위한 평가를 통해 제안된 방법의 타당성을 확인했으며, 15억 매개변수 LLM이 80억 매개변수 LLM과 비교할 만한 성능으로 11.74%의 성능 향상을 달성했습니다. OOD 제약 조건에 대한 평가는 RAIF의 일반화 가능성을 확인했습니다.
