본 논문은 대규모 언어 모델(LLM)의 추론 및 텍스트 생성 효율을 높이기 위해 외부 지식과 최신 정보를 효과적으로 획득하는 방법을 제시합니다. 기존의 검색 엔진을 활용하는 방법은 LLM이 검색 엔진과 최적으로 상호 작용하는 방법을 완전히 숙지하지 못할 수 있다는 한계가 있습니다. 이를 해결하기 위해, Search-R1이라는 강화 학습 기반 프레임워크를 제안합니다. Search-R1은 단계별 추론 과정에서 LLM이 자율적으로 여러 검색 쿼리를 생성하고, 실시간 검색 결과를 활용하여 LLM 추론 과정을 최적화합니다. 안정적인 강화 학습 훈련을 위해 검색 결과 토큰 마스킹 기법을 사용하며, 간단한 결과 기반 보상 함수를 적용합니다. 7개의 질의응답 데이터셋 실험 결과, Search-R1은 기존 RAG 기준 대비 Qwen2.5-7B 모델에서 41%, Qwen2.5-3B 모델에서 20% 성능 향상을 보였습니다. 또한, 강화 학습 최적화 방법, LLM 선택, 검색 결과 길이 동역학에 대한 실험적 통찰력을 제공합니다. 코드와 모델 체크포인트는 공개되어 있습니다.
