Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning

Created by
  • Haebom
Category
Empty

저자

Mingyang Chen, Tianpeng Li, Haoze Sun, Yijie Zhou, Chenzheng Zhu, Haofen Wang, Jeff Z. Pan, Wen Zhang, Huajun Chen, Fan Yang, Zenan Zhou, Weipeng Chen

개요

본 논문은 외부 검색 과정과 추론을 통합하는 새로운 프레임워크인 ReSearch를 제안합니다. ReSearch는 강화 학습을 통해 대규모 언어 모델(LLM)이 검색을 통해 추론하도록 훈련하며, 추론 단계에 대한 어떠한 지도 데이터도 사용하지 않습니다. 검색 작업을 추론 체인의 필수 구성 요소로 취급하여 텍스트 기반 사고를 통해 언제 어떻게 검색을 수행할지 안내하고, 검색 결과가 후속 추론에 영향을 미치도록 합니다. Qwen2.5-7B(-Instruct) 및 Qwen2.5-32B(-Instruct) 모델을 사용하여 ReSearch를 훈련하고 광범위한 실험을 수행합니다. 하나의 데이터셋으로만 훈련되었음에도 불구하고 다양한 벤치마크에서 강력한 일반화 성능을 보여주며, 강화 학습 과정에서 반성 및 자기 수정과 같은 고급 추론 능력을 자연스럽게 유도함을 보여줍니다.

시사점, 한계점

•
시사점:
◦
강화 학습을 통해 지도 데이터 없이 LLM의 추론과 외부 검색 통합 가능성을 제시.
◦
텍스트 기반 사고를 통해 검색 전략을 제어하는 새로운 접근 방식 제시.
◦
하나의 데이터셋으로 훈련되었음에도 다양한 벤치마크에서 우수한 성능을 보임.
◦
강화 학습 과정에서 LLM의 반성 및 자기 수정과 같은 고급 추론 능력 자연스럽게 유도.
•
한계점:
◦
사용된 데이터셋의 종류와 규모에 대한 구체적인 정보 부족.
◦
다른 LLM 모델에 대한 일반화 성능 검증 필요.
◦
복잡한 다단계 질문에 대한 처리 성능의 한계 가능성.
◦
검색 과정의 효율성 및 비용에 대한 분석 부족.
👍
Made with Slashpage