Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

AutoPDL: Tự động tối ưu hóa lời nhắc cho các tác nhân LLM

Created by
  • Haebom

Tác giả

Claudio Spiess, Mandana Vaziri, Louis Mandel, Martin Hirzel

Phác thảo

Bài báo này đề xuất AutoPDL, một kỹ thuật tối ưu hóa lời nhắc tự động nhằm cải thiện hiệu suất của các mô hình ngôn ngữ quy mô lớn (LLM). AutoPDL định nghĩa bài toán kết hợp các mẫu lời nhắc khác nhau (ví dụ: Zero-Shot, CoT, ReAct, ReWOO) với nội dung lời nhắc, bao gồm một số ví dụ, như một bài toán AutoML có cấu trúc. Nó tìm kiếm hiệu quả các cấu hình lời nhắc tối ưu bằng kỹ thuật Giảm một nửa Liên tiếp (Successive Halving). Tận dụng thư viện các mẫu lời nhắc được triển khai bằng ngôn ngữ lập trình lời nhắc PDL, AutoPDL tạo ra các chương trình PDL dễ đọc, dễ chỉnh sửa và dễ thực thi. Kết quả đánh giá trên ba tác vụ và bảy LLM (dao động từ 3 tỷ đến 70 tỷ tham số) cho thấy độ chính xác được cải thiện trung bình là 9,21 ± 15,46 điểm phần trăm (lên đến 67,5 điểm phần trăm). Chiến lược lời nhắc được lựa chọn thay đổi tùy theo mô hình và tác vụ.

Takeaways, Limitations

•
Takeaways:
◦
Kỹ thuật tự động hóa nhanh chóng của LLM cho thấy cách tiết kiệm thời gian và công sức, đồng thời đạt hiệu suất tốt hơn so với các phương pháp thủ công.
◦
Lập trình nhanh bằng PDL cho phép tạo ra các lời nhắc có thể tái sử dụng, dễ hiểu và dễ sửa đổi đối với con người.
◦
Chúng tôi trình bày phương pháp tối ưu hóa nhanh chóng chung có thể áp dụng cho nhiều chương trình LLM và nhiệm vụ khác nhau.
◦
Chúng tôi chứng minh bằng thực nghiệm rằng chiến lược thúc đẩy tối ưu thay đổi tùy theo mô hình và nhiệm vụ.
•
Limitations:
◦
Hiệu quả của kỹ thuật Phân chia Liên tiếp có thể thay đổi tùy thuộc vào kích thước của không gian tìm kiếm. Đối với không gian tìm kiếm rất lớn, có thể không tìm thấy lời nhắc tối ưu.
◦
Do các loại LLM và nhiệm vụ được sử dụng trong quá trình đánh giá bị hạn chế nên cần nghiên cứu thêm để xác định khả năng khái quát hóa cho các LLM hoặc nhiệm vụ khác.
◦
Có thể cần phải tìm hiểu về ngôn ngữ lập trình nhắc nhở PDL.
👍
Made with Slashpage