Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Tool-Star: Empowering LLM-Brained Multi-Tool Reasoner via Reinforcement Learning

Created by
  • Haebom

저자

Guanting Dong, Yifei Chen, Xiaoxi Li, Jiajie Jin, Hongjin Qian, Yutao Zhu, Hangyu Mao, Guorui Zhou, Zhicheng Dou, Ji-Rong Wen

개요

본 논문은 대규모 언어 모델(LLMs)의 다중 도구 협업 추론 능력 향상을 위한 강화학습 기반 프레임워크인 Tool-Star를 제안합니다. Tool-Star는 6가지 유형의 외부 도구를 자율적으로 호출하여 단계적 추론을 수행하며, 도구 사용 데이터 부족 문제를 해결하기 위해 도구 통합 프롬프트와 힌트 기반 샘플링을 결합한 데이터 합성 파이프라인을 제시합니다. 또한, LLM이 도구 호출 피드백을 통해 추론 패턴을 탐색하도록 유도하는 초기 미세조정과 계층적 보상 설계를 활용한 다중 도구 자기 비판 강화학습 알고리즘을 포함하는 2단계 학습 프레임워크를 제안합니다. 10개 이상의 어려운 추론 벤치마크 실험을 통해 Tool-Star의 효과와 효율성을 보여줍니다. 코드는 깃허브에서 공개됩니다.

시사점, 한계점

시사점:
대규모 언어 모델의 다중 도구 협업 추론 능력 향상을 위한 효과적인 강화학습 기반 프레임워크 제시
도구 사용 데이터 부족 문제 해결을 위한 효율적인 데이터 합성 파이프라인 제안
초기 미세조정과 계층적 보상 설계를 활용한 2단계 학습 프레임워크를 통해 성능 향상
다양한 추론 벤치마크에서 Tool-Star의 우수한 성능 검증
오픈소스 코드 공개를 통한 연구의 재현성 및 확장성 증대
한계점:
제안된 데이터 합성 파이프라인의 일반화 가능성에 대한 추가 연구 필요
사용된 도구의 종류 및 수 제한에 따른 성능 저하 가능성
다양한 유형의 추론 문제에 대한 Tool-Star의 일반화 성능 평가 필요
계산 비용 및 학습 시간에 대한 추가적인 분석 필요
👍