SynLogic: Synthesizing Verifiable Reasoning Data at Scale for Learning Logical Reasoning and Beyond
Created by
Haebom
저자
Junteng Liu, Yuanxiang Fan, Zhuo Jiang, Han Ding, Yongyi Hu, Chi Zhang, Yiqi Shi, Shitong Weng, Aili Chen, Shiqi Chen, Yunan Huang, Mozhi Zhang, Pengyu Zhao, Junjie Yan, Junxian He
개요
본 논문은 대규모 언어 모델(LLM)의 추론 능력 향상을 위해 강화 학습(RL)을 활용하는 SynLogic이라는 데이터 합성 프레임워크 및 데이터셋을 제시한다. 기존 연구들이 수학 및 코딩 영역에 집중한 것과 달리, SynLogic은 다양한 논리 추론 작업(35가지)을 포함하는 광범위한 데이터를 생성하여 일반적인 추론 능력 개발을 목표로 한다. SynLogic은 난이도와 양을 조절하여 데이터를 생성하고, 간단한 규칙으로 검증 가능한 데이터를 제공하여 RL 학습에 적합하다. 실험 결과, 7B 및 32B 모델에서 SynLogic 데이터셋을 사용한 RL 학습은 기존 최고 성능을 뛰어넘는 논리 추론 성능을 보였으며, 수학 및 코딩 작업과 혼합하여 학습시킬 경우 추론 일반화 능력이 더욱 향상됨을 확인했다. SynLogic 데이터 합성 파이프라인과 데이터셋은 공개 소스로 제공된다.
시사점, 한계점
•
시사점:
◦
다양한 논리 추론 작업을 포함하는 대규모 데이터셋 SynLogic을 통해 LLM의 일반적인 추론 능력 향상에 기여.
◦
SynLogic 데이터셋을 이용한 RL 학습은 기존 최고 성능을 능가하는 논리 추론 성능을 달성.
◦
수학 및 코딩 작업과 SynLogic 데이터를 혼합하여 학습시키면 학습 효율 향상 및 추론 일반화 능력 향상.
◦
SynLogic 데이터셋과 파이프라인을 공개하여 LLM 연구 발전에 기여.
•
한계점:
◦
논리 추론에만 집중하여 다른 유형의 추론 능력 향상에는 제한적일 수 있음.
◦
생성된 데이터의 다양성 및 일반화 능력에 대한 추가적인 검증 필요.
◦
SynLogic을 통해 향상된 추론 능력이 실제 응용 분야에서 얼마나 효과적인지에 대한 추가 연구 필요.
