본 논문은 대규모 언어 모델(LLM)이 복잡한 실제 세계 과제를 수행하기 위해 도구 학습이 필요하다는 점을 지적하며, 기존의 단계별 도구 호출 방식(CoT/ReAct)의 한계점인 제한적인 지각 범위와 부족한 작업 계획 능력을 극복하고자 합니다. 이를 위해 기존의 Search-based Decision Tree (DFSDT)의 높은 계산 비용 문제를 해결하는 새로운 병렬 도구 호출 패러다임인 DTA-Llama (Divide-Then-Aggregate Llama)를 제시합니다. DTA-Llama는 트리 기반 도구 검색 경로를 DAG(Directed Acyclic Graph) 구조로 변환하여 고품질의 병렬 도구 호출 데이터셋을 생성하고, 이를 통해 현재 작업을 여러 개의 병렬 도구 호출 하위 작업으로 분할하고, 그 결과를 집계하여 다음 작업을 결정하는 것을 반복적으로 학습합니다. 또한, Process/Threads 메커니즘에서 영감을 얻은 효율적인 추론 프레임워크를 도입하여 실제 작업에 DTA-Llama를 적용합니다. 실험 결과, 제안된 방법은 작업 성능을 크게 향상시키는 동시에 토큰 소모량과 추론 시간을 줄이며, Llama2-7B를 사용한 본 연구의 결과는 GPT-3.5의 공식 병렬 함수 호출 방식과 비슷한 수준임을 보여줍니다. 관련 코드, 데이터셋 및 모델 가중치는 https://corn0205.github.io/ 에서 이용 가능합니다.
