Bài báo này thảo luận về học công cụ, một phương pháp tiếp cận đầy hứa hẹn để mở rộng khả năng của các mô hình ngôn ngữ quy mô lớn (LLM). Các phương pháp học công cụ hiện có chủ yếu tập trung vào tổng hợp dữ liệu để tinh chỉnh LLM nhằm gọi công cụ một cách hiệu quả, nhưng lại bỏ qua các phương pháp khai thác tối đa tiềm năng của mô hình. Bài báo này đề xuất ToolACE-R, một khuôn khổ mới kết hợp cả học lặp nhận biết mô hình và cải tiến thích ứng. ToolACE-R có quy trình học lặp nhận biết mô hình, điều chỉnh gia tăng các mẫu huấn luyện dựa trên khả năng phát triển của mô hình để tối đa hóa tiềm năng của nó. Hơn nữa, nó kết hợp một kho dữ liệu huấn luyện tự cải tiến, làm nổi bật khả năng tối ưu hóa lặp lại việc gọi công cụ của LLM mà không cần phản hồi từ bên ngoài. Hơn nữa, chúng tôi giới thiệu một cơ chế tự cải tiến thích ứng để kéo dài thời gian kiểm thử hiệu quả, cho phép mô hình đã được huấn luyện tự động quyết định khi nào nên dừng quá trình tự cải tiến lặp. Các thử nghiệm mở rộng trên nhiều tập dữ liệu chuẩn cho thấy ToolACE-R đạt được hiệu suất cạnh tranh so với các mô hình dựa trên API tiên tiến. Tự cải tiến thích ứng có thể nâng cao hiệu suất gọi công cụ một cách hiệu quả hơn nữa. Những kết quả này làm nổi bật tính hiệu quả và khả năng tổng quát hóa của ToolACE-R, đồng thời gợi ý những hướng đi đầy hứa hẹn cho việc học công cụ hiệu quả và có khả năng mở rộng hơn.
