AskToAct: Enhancing LLMs Tool Use via Self-Correcting Clarification
Created by
- Haebom
Category
Empty
저자
Xuan Zhang, Yongliang Shen, Zhe Zheng, Linjuan Wu, Wenqi Zhang, Yuchen Yan, Qiuying Peng, Jun Wang, Weiming Lu
개요
본 논문은 대규모 언어 모델(LLM)의 도구 학습 능력을 향상시키는 새로운 상호작용적 명확화 프레임워크인 AskToAct를 제시합니다. 기존 접근 방식의 한계점인 수동 데이터셋 의존 및 다중 턴 명확화 과정 중 오류 수정 메커니즘 부재를 해결하기 위해, 질의와 도구 호출 솔루션 간의 구조적 매핑을 활용합니다. 도구 매개변수를 명시적 사용자 의도로 간주하고, 매개변수를 제거하여 자동으로 고품질 학습 데이터를 생성하며, 선택적 마스킹 메커니즘을 이용한 오류 수정 데이터를 추가 학습하여 모델의 강건성을 높입니다. 실험 결과, AskToAct는 기존 방법보다 우수한 성능을 보이며, 중요한 미지정 의도를 79% 이상의 정확도로 복구하고, 도구 호출 정확도를 유지하면서 명확화 효율성을 평균 48.34% 향상시킵니다. 또한, 다양한 복잡도 수준에서 강건한 성능을 보이며, 추가 학습 없이 완전히 새로운 API에도 GPT-4에 필적하는 성능을 보입니다.
시사점, 한계점
•
시사점:
◦
자동화된 고품질 학습 데이터 생성을 통해 수동 데이터셋 의존성을 줄임.
◦
오류 수정 메커니즘을 통해 다중 턴 명확화 과정의 강건성 향상.
◦
기존 방법 대비 향상된 정확도와 효율성을 달성.
◦
추가 학습 없이 새로운 API에 대한 일반화 능력 우수.
◦
GPT-4 수준의 성능을 훨씬 적은 계산 자원으로 달성.
•
한계점:
◦
AskToAct의 성능이 특정 유형의 질의나 도구에 편향될 가능성 존재 (논문에서 명시적으로 언급되지는 않지만, 일반적인 LLM 기반 모델의 한계로 예상).
◦
매개변수를 명시적 사용자 의도로 간주하는 가정이 항상 정확하지 않을 수 있음. (모든 매개변수가 명시적 의도를 반영하지 않을 수 있음).
◦
선택적 마스킹 메커니즘의 최적화 파라미터 설정에 대한 추가 연구 필요.
◦
실험 데이터의 범위와 일반화 가능성에 대한 추가 검증 필요.
