본 논문은 인간의 개입 없이 자율적으로 학습하고 발전하는 자기 진화형 거대 언어 모델(LLM)인 R-Zero를 제안합니다. 기존의 자기 진화형 LLM들이 인간이 생성한 방대한 데이터에 의존하는 것과 달리, R-Zero는 Challenger와 Solver라는 두 개의 독립적인 모델을 활용하여 자체적으로 학습 데이터를 생성합니다. Challenger는 Solver의 능력 한계 근처의 과제를 제시하고, Solver는 이를 해결함으로써 상호 작용을 통해 발전합니다. 이러한 과정을 통해 사전에 정의된 과제나 레이블 없이도 목표 지향적인 자기 개선 커리큘럼을 생성합니다. 실험 결과, R-Zero는 다양한 기본 LLM의 추론 능력을 향상시키는 것으로 나타났습니다.
시사점, 한계점
•
시사점:
◦
인간의 개입 없이 자율적으로 학습 데이터를 생성하는 새로운 프레임워크 제시.
◦
기존 LLM의 추론 능력을 획기적으로 향상시킬 가능성 제시 (수학 추론 및 일반 영역 추론 성능 향상).
