Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Chain-of-Tools: Utilizing Massive Unseen Tools in the CoT Reasoning of Frozen Language Models

Created by
  • Haebom
Category
Empty

저자

Mengsong Wu, Tong Zhu, Han Han, Xiang Zhang, Wenbiao Shao, Wenliang Chen

개요

본 논문은 대규모 언어 모델(LLM)의 활용 시나리오를 확장하는 도구 학습 방법으로, 기존 방법들의 한계인 미세 조정 필요성 및 프롬프트에 도구 데모 추가의 비효율성을 극복하는 "Chain-of-Tools"를 제시합니다. Chain-of-Tools는 동결된 LLM의 강력한 의미 표현 능력을 활용하여 CoT 추론을 통해 방대한 유연한 도구 풀(미지의 도구 포함)에서 도구 호출을 수행합니다. 새로운 데이터셋 SimpleToolQuestions를 구축하여 미지의 도구 시나리오에서의 효과를 검증하고, GSM8K-XL, FuncQA, KAMEL, SimpleToolQuestions 등의 벤치마크에서 기존 방법보다 우수한 성능을 보임을 실험적으로 입증합니다. 또한, 모델 해석력 향상을 위해 도구 선택에 중요한 모델 출력 차원을 파악합니다. 코드와 데이터는 Github에서 공개됩니다.

시사점, 한계점

시사점:
동결된 LLM을 활용하여 미세 조정 없이 다양한 도구를 활용 가능하게 함으로써 LLM의 활용성을 크게 높였습니다.
CoT 추론과 결합하여 방대하고 유연한 도구 풀을 효율적으로 활용할 수 있는 새로운 도구 학습 방법을 제시했습니다.
미지의 도구를 포함하는 시나리오에서도 우수한 성능을 보이며 실용성을 입증했습니다.
모델 해석력 향상에 기여하는 도구 선택의 중요한 요소를 밝혔습니다.
한계점:
SimpleToolQuestions 데이터셋의 규모 및 일반화 가능성에 대한 추가적인 검증이 필요합니다.
제시된 방법의 성능이 특정 벤치마크에 국한될 가능성이 있으며, 더 다양한 작업 및 도구에 대한 실험이 필요합니다.
Chain-of-Tools의 복잡성과 계산 비용에 대한 분석이 부족합니다.
👍