Incentivizing Reasoning for Advanced Instruction-Following of Large Language Models
Created by
Haebom
저자
Yulei Qin, Gang Li, Zongyi Li, Zihan Xu, Yuchen Shi, Zhekai Lin, Xiao Cui, Ke Li, Xing Sun
개요
본 논문은 복잡한 명령, 특히 병렬, 연쇄, 분기 구조로 구성된 여러 제약 조건이 존재하는 경우 기존 대규모 언어 모델(LLM)의 어려움을 다룹니다. 연쇄적 사고(CoT)는 LLM의 성능을 향상시킬 것으로 기대되지만, 단순히 명령을 바꿔 쓰는 피상적인 추론 패턴으로 인해 성능 저하를 초래할 수 있다는 점을 밝힙니다. 따라서 본 논문은 기존 분류 체계 하에서 복잡한 명령을 분해하고 재현 가능한 데이터 획득 방법을 제안합니다. 검증 가능한 규칙 중심 보상 신호를 사용하는 강화 학습(RL)을 통해 명령 수행을 위한 추론 능력을 배양하고, 샘플 간 대조를 통해 복잡한 명령 하에서의 피상적이고 비본질적인 추론의 성격을 해결합니다. 또한 전문가의 행동 복제를 활용하여 빠른 사고의 LLM에서 숙련된 추론자로의 안정적인 분포 이동을 촉진합니다. 7개의 종합적인 벤치마크에 대한 광범위한 평가를 통해 제안된 방법의 유효성을 확인하였으며, 15억 매개변수 LLM이 80억 매개변수 LLM과 비슷한 성능으로 11.74%의 성능 향상을 달성했습니다. 코드와 데이터는 https://github.com/yuleiqin/RAIF 에서 확인할 수 있습니다.
