Incentivizing Reasoning for Advanced Instruction-Following of Large Language Models
Created by
Haebom
저자
Yulei Qin, Gang Li, Zongyi Li, Zihan Xu, Yuchen Shi, Zhekai Lin, Xiao Cui, Ke Li, Xing Sun
개요
본 논문은 복잡한 명령, 특히 병렬, 연쇄, 분기 구조로 구성된 여러 제약 조건이 있는 경우 기존 대규모 언어 모델(LLM)의 한계를 다룹니다. 기존의 사고 연쇄(CoT) 방식이 LLM의 성능을 향상시킬 것으로 예상되지만, 단순히 명령을 바꿔 말하는 피상적인 추론 패턴으로 인해 성능 저하를 야기할 수 있음을 발견했습니다. 따라서 본 논문에서는 테스트 시간 계산 확장을 위한 추론을 유도하여 복잡한 명령을 처리하는 LLM의 성능을 향상시키는 체계적인 방법을 제안합니다. 기존 분류 체계에 따른 복잡한 명령의 분해를 기반으로 재현 가능한 데이터 수집 방법을 제안하고, 검증 가능한 규칙 중심 보상 신호를 사용한 강화 학습(RL)을 통해 명령어 수행을 위한 추론을 육성합니다. 샘플별 대조를 통해 복잡한 명령어 하에서의 피상적이고 비본질적인 추론의 문제를 해결하고, 전문가의 행동 복제를 활용하여 빠르게 생각하는 LLM에서 숙련된 추론자로의 안정적인 분포 이동을 용이하게 합니다. 7개의 종합적인 벤치마크에 대한 광범위한 평가를 통해 제안된 방법의 유효성을 확인했으며, 15억 매개변수 LLM이 80억 매개변수 LLM과 비슷한 성능으로 11.74%의 성능 향상을 달성했습니다. 코드와 데이터는 https://github.com/yuleiqin/RAIF 에서 확인할 수 있습니다.
