RL Tango: Reinforcing Generator and Verifier Together for Language Reasoning
Created by
Haebom
저자
Kaiwen Zha, Zhengqi Gao, Maohao Shen, Zhang-Wei Hong, Duane S. Boning, Dina Katabi
개요
본 논문은 대규모 언어 모델(LLM)의 추론 능력 향상을 위해 강화 학습(RL)을 활용하는 Tango라는 새로운 프레임워크를 제안합니다. 기존의 LLM RL 후속 학습 방법들은 고정된(규칙 기반 또는 사전 학습된) 검증자 또는 지도 학습 미세 조정(SFT)을 통해 학습된 검증자를 사용하여 보상 해킹에 취약하고 훈련 분포를 벗어나 일반화하는 데 어려움이 있었습니다. Tango는 생성적 프로세스 수준의 LLM 검증자를 RL을 통해 동시에 훈련하는 방식을 사용합니다. 검증자는 결과 수준의 검증 정확성 보상만을 기반으로 훈련되며, 명시적인 프로세스 수준 주석이 필요하지 않습니다. 생성적 RL로 훈련된 검증자는 결정적 또는 SFT로 훈련된 검증자보다 향상된 강건성과 우수한 일반화 성능을 보이며, 생성기와 효과적인 상호 강화를 촉진합니다. 실험 결과, Tango의 생성기와 검증자 모두 7B/8B 규모 모델 중 최첨단 성능을 달성했습니다. 생성기는 5가지 경쟁 수준 수학 벤치마크와 4가지 어려운 도메인 외 추론 작업에서 최고 성능을 달성했고, 검증자는 ProcessBench 데이터셋에서 최고 성능을 달성했습니다. 특히 어려운 수학적 추론 문제에서 두 구성 요소 모두 상당한 성능 향상을 보였습니다. 코드는 https://github.com/kaiwenzha/rl-tango 에서 확인할 수 있습니다.
시사점, 한계점
•
시사점:
◦
생성적 RL 검증자를 사용하여 기존 RL 기반 LLM 훈련 방법의 한계인 보상 해킹 및 일반화 문제를 해결했습니다.
◦
생성기와 검증자를 동시에 훈련하여 상호 강화를 통해 성능 향상을 이끌었습니다.
◦
7B/8B 규모 모델에서 수학적 추론 및 도메인 외 추론 작업에서 최첨단 성능을 달성했습니다.
◦
결과 수준 보상만으로 검증자를 훈련할 수 있어 데이터 효율성을 높였습니다.
•
한계점:
◦
본 논문에서 제시된 방법의 컴퓨팅 비용이 높을 수 있습니다. (암시적)
◦
다양한 종류의 문제에 대한 일반화 성능을 더욱 심도 있게 평가할 필요가 있습니다. (암시적)
◦
특정 데이터셋에 대한 과적합 가능성에 대한 추가적인 분석이 필요할 수 있습니다. (암시적)
