Agentic RAG 시스템은 동적, 다단계 추론 및 정보 검색을 통해 LLM을 향상시키지만, 과도한 검색(중복 정보 검색) 및 부족한 검색(필요한 정보 검색 실패)과 같은 비효율적인 검색 동작을 나타낼 수 있습니다. 본 연구에서는 이러한 동작을 정의하고 정량화하여 여러 QA 데이터셋과 agentic RAG 시스템에서 그 발생률을 밝혔습니다. 또한, 이러한 비효율성과 모델의 지식 경계에 대한 불확실성 간의 중요한 연관성을 확인했으며, 응답 정확도가 검색 결정에 대한 모델의 불확실성과 상관관계가 있음을 밝혔습니다. 이를 해결하기 위해, 높은 확실성의 검색 결정을 보상하는 신뢰도 임계값을 통합한 강화 학습 기반 훈련 방법인 $\beta$-GRPO를 제안했습니다. 7개의 QA 벤치마크에서 실험한 결과, $\beta$-GRPO는 3B 모델의 agentic RAG 능력을 향상시켜 다른 강력한 baseline을 능가하며, 평균 정확도 일치 점수가 4% 더 높았습니다.
