본 논문은 대규모 언어 모델(LLM)의 추론 및 텍스트 생성 효율을 높이기 위해 외부 지식과 최신 정보를 효과적으로 획득하는 방법을 제시합니다. 기존의 검색 엔진을 활용하는 방식은 LLM이 검색 엔진과 최적으로 상호 작용하는 방법을 학습하지 못한다는 한계가 있습니다. 이를 해결하기 위해, 본 논문에서는 강화 학습(RL)을 통해 LLM이 단계별 추론 과정에서 자율적으로 여러 검색 쿼리를 생성하는 DeepSeek-R1 모델의 확장판인 Search-R1을 제안합니다. Search-R1은 다회차 검색 상호 작용을 통해 LLM 롤아웃을 최적화하고, 안정적인 RL 훈련을 위해 검색된 토큰 마스킹과 단순한 결과 기반 보상 함수를 활용합니다. 7개의 질의응답 데이터셋에 대한 실험 결과, Search-R1은 기존 최고 성능 모델보다 Qwen2.5-7B에서 26%, Qwen2.5-3B에서 21%, LLaMA3.2-3B에서 10% 향상된 성능을 보였습니다. 또한, RL 최적화 방법, LLM 선택, 검색 증강 추론에서 응답 길이 역학에 대한 실험적 통찰력을 제공합니다. 코드와 모델 체크포인트는 https://github.com/PeterGriffinJin/Search-R1 에서 확인할 수 있습니다.
