본 논문은 대규모 언어 모델(LLM)이 검색 엔진과 같은 외부 도구를 호출하는 능력을 향상시키는 새로운 강화 학습 프레임워크인 SEM을 제안합니다. 기존 강화 학습 방식의 과도한 검색 행위 문제를 해결하기 위해, MuSiQue와 MMLU 데이터셋을 결합하여 모델이 내부 지식과 외부 검색을 구분하도록 학습시키는 균형 잡힌 데이터셋을 구성합니다. 구조화된 추론 템플릿과 GRPO(Group Relative Policy Optimization)를 활용하여 모델의 검색 행위를 사후 학습시키고, 불필요한 검색 없이 정확한 답변을 유도하는 보상 함수를 설계합니다. 실험 결과, SEM은 여러 벤치마크에서 불필요한 검색을 크게 줄이면서 정확도를 유지하거나 향상시키는 것을 보여줍니다.
