AskToAct: Enhancing LLMs Tool Use via Self-Correcting Clarification
Created by
Haebom
저자
Xuan Zhang, Yongliang Shen, Zhe Zheng, Linjuan Wu, Wenqi Zhang, Yuchen Yan, Qiuying Peng, Jun Wang, Weiming Lu
개요
본 논문은 대규모 언어 모델(LLM)의 도구 학습 능력을 향상시키는 새로운 프레임워크인 AskToAct를 제시합니다. 기존의 상호작용적 질의 명확화 접근 방식은 수동으로 구축된 데이터셋에 의존하고 오류 수정 메커니즘이 부족하다는 한계를 가지고 있습니다. AskToAct는 질의와 도구 호출 솔루션 간의 구조적 매핑을 활용하여 이러한 문제를 해결합니다. 도구 매개변수를 명시적인 사용자 의도로 간주하고, 매개변수를 제거하여 자동으로 고품질의 훈련 데이터를 생성합니다. 또한, 오류 수정 쌍과 선택적 마스킹을 통해 모델의 강건성을 높이고 상호 작용 중 동적으로 오류를 감지합니다. 실험 결과, AskToAct는 기존 방식보다 우수한 성능을 보이며, 중요한 미지정 의도를 복구하는 정확도가 57% 이상, 명확화 효율성이 평균 10.46% 향상되었습니다. 다양한 모델 아키텍처에서 견고한 성능을 보이며, 추가적인 훈련 없이도 전혀 새로운 API에 일반화될 수 있습니다.
시사점, 한계점
•
시사점:
◦
자동화된 고품질 훈련 데이터 생성을 통해 LLM의 도구 학습 성능 향상.
◦
오류 수정 메커니즘을 통한 상호작용적 질의 명확화의 정확성 및 효율성 증대.
◦
다양한 모델 아키텍처와 새로운 API에 대한 일반화 성능 우수.
◦
GPT-4o에 필적하는 성능을 훨씬 적은 계산 자원으로 달성.
•
한계점:
◦
본 논문에서 제시된 방법이 모든 종류의 모호하고 불완전한 질의에 대해 동일한 성능을 보장하는지에 대한 추가적인 연구 필요.
