본 논문은 대규모 언어 모델(LLM)의 추론 및 텍스트 생성 효율을 높이기 위해 실시간 검색을 통한 단계별 추론 과정에서 자율적으로 검색 쿼리를 생성하는 Search-R1 모델을 제시합니다. 기존의 검색 엔진 활용 방식의 한계점인 복잡한 다중 턴 검색 유연성 부족 및 대규모 지도 학습 데이터 필요성을 해결하기 위해, 강화 학습(RL)을 통해 LLM이 검색 엔진과 최적으로 상호 작용하는 방법을 학습하도록 합니다. 검색된 토큰 마스킹을 활용하여 안정적인 RL 훈련을 수행하고, 단순한 결과 기반 보상 함수를 사용합니다. 7개의 질의응답 데이터셋 실험 결과, Search-R1은 기존 최고 성능(SOTA) 기준 대비 Qwen2.5-7B에서 26%, Qwen2.5-3B에서 21%, LLaMA3.2-3B에서 10%의 성능 향상을 보였습니다. 또한 RL 최적화 방법, LLM 선택, 응답 길이 역학에 대한 실험적 통찰력을 제공합니다. 코드와 모델 체크포인트는 https://github.com/PeterGriffinJin/Search-R1 에서 확인할 수 있습니다.
