InfiAlign: A Scalable and Sample-Efficient Framework for Aligning LLMs to Enhance Reasoning Capabilities
Created by
Haebom
저자
Shuo Cai, Su Lu, Qi Zhou, Kejing Yang, Zhijie Sang, Congkai Xie, Hongxia Yang
개요
본 논문은 대규모 언어 모델(LLM)의 추론 능력 향상을 위한 효율적인 사후 학습 프레임워크인 InfiAlign을 제시합니다. InfiAlign은 지도 학습 미세 조정(SFT)과 직접 선호도 최적화(DPO)를 통합하여 LLM을 정렬하고, 다차원 품질 지표를 사용하여 오픈소스 추론 데이터셋에서 고품질 정렬 데이터를 자동으로 선별하는 강력한 데이터 선택 파이프라인을 핵심으로 합니다. Qwen2.5-Math-7B-Base 모델에 적용한 결과, 기존 모델과 유사한 성능을 기존 데이터의 약 12%만 사용하여 달성했으며, 다양한 추론 과제에서 강력한 일반화 성능을 보였습니다. 특히 DPO를 적용하여 수학적 추론 과제에서 평균 3.89%의 성능 향상을 달성했습니다. InfiAlign은 원칙에 기반한 데이터 선택과 전 단계 사후 학습을 결합하여 확장 가능하고 데이터 효율적인 방식으로 대규모 추론 모델을 정렬하는 실용적인 해결책을 제공합니다. 모델 체크포인트는 https://huggingface.co/InfiX-ai/InfiAlign-Qwen-7B-SFT 에서 이용 가능합니다.
