본 논문은 대규모 언어 모델(LLM)의 복잡한 문제 해결 능력 향상을 위한 새로운 프레임워크인 Atom-Searcher를 제안합니다. 기존의 검색 증강 생성(RAG) 방식의 한계를 극복하기 위해, LLM이 자율적으로 추론, 검색, 정보 종합을 수행하는 에이전트 기반 심층 연구에 초점을 맞춥니다. 기존의 결과 기반 강화 학습(RL) 방식의 문제점인 상반되는 기울기와 보상 희소성을 해결하기 위해, 추론 과정을 세분화된 기능적 단위로 분해하는 새로운 사고 방식인 Atomic Thought를 제시합니다. 이를 통해 추론 과정을 위한 세분화된 지침을 제공하는 Reasoning Reward Models(RRM)과 Atomic Thought Rewards(ATR)를 활용하여, 효율적인 추론 경로로의 수렴을 가속화합니다. 커리큘럼 기반 보상 일정을 통해 프로세스 수준의 ATR을 우선적으로 고려하고 점진적으로 결과 보상으로 전환하는 전략을 사용합니다. 7개의 벤치마크 실험을 통해 기존 최고 성능을 능가하는 결과를 보였으며, 테스트 시간 계산의 확장성, RRM을 위한 감독 기준 제공, 더 해석 가능하고 인간과 유사한 추론 패턴 등의 장점을 제시합니다.
