Webscale-RL: Automated Data Pipeline for Scaling RL Data to Pretraining Levels

Created by

Haebom

저자

Zhepeng Cen, Haolin Chen, Shiyu Wang, Zuxin Liu, Zhiwei Liu, Jielin Qiu, Ding Zhao, Silvio Savarese, Caiming Xiong, Huan Wang, Weiran Yao

💡 개요

대규모 언어 모델(LLM)은 방대한 텍스트 코퍼스를 통한 모방 학습으로 성공을 거두었지만, 훈련-생성 간극과 견고한 추론 능력의 한계를 야기합니다. 강화학습(RL)은 이 간극을 메울 수 있는 데이터 효율적인 해결책을 제시하지만, 기존 RL 데이터셋이 웹스케일 사전 학습 코퍼스에 비해 훨씬 작고 다양성이 부족하다는 데이터 병목 현상으로 인해 적용이 제한적이었습니다. 이를 해결하기 위해 본 연구는 대규모 사전 학습 문서를 체계적으로 변환하여 RL 학습에 사용할 수 있는 수백만 개의 다양하고 검증 가능한 질문-답변 쌍을 생성하는 확장 가능한 데이터 엔진인 Webscale-RL 파이프라인을 제안합니다.

🔑 시사점 및 한계

•

Webscale-RL 파이프라인은 대규모 텍스트 코퍼스를 강화학습에 활용 가능한 데이터로 자동 변환하여 RL 데이터셋 구축의 병목 현상을 해소할 수 있습니다.

•

Webscale-RL 데이터셋으로 학습한 모델은 기존 방식보다 성능이 우수하며, 특히 100배 적은 토큰으로도 유사한 성능을 달성하여 RL 학습의 효율성을 크게 높입니다.

•

본 연구는 강화학습을 사전 학습 수준까지 확장하여 더 강력하고 효율적인 언어 모델을 개발할 수 있는 실질적인 경로를 제시합니다.

•

향후 과제는 생성된 데이터의 품질과 다양성을 더욱 개선하고, 다른 유형의 LLM 작업에 적용하는 것입니다.

PDF 보기

Made with Slashpage