Bài báo này trình bày ACING, một kỹ thuật tối ưu hóa lời nhắc tự động nhằm cải thiện hiệu suất của các mô hình ngôn ngữ quy mô lớn (LLM). ACING, một khuôn khổ dựa trên học tăng cường hoạt động ngay cả trong môi trường hộp đen, nơi các tham số và gradient của LLM không thể truy cập được, xây dựng tối ưu hóa lời nhắc như một bài toán hành động liên tục không trạng thái, khám phá một không gian lời nhắc vô hạn. Kết quả thử nghiệm cho thấy ACING tạo ra các lời nhắc vượt trội hơn lời nhắc do con người tạo ra 76% thời gian trên nhiều tác vụ khác nhau (gợi ý lệnh, tóm tắt và suy luận chuỗi suy nghĩ), đạt tới 33 điểm và cải thiện hiệu suất trung bình 10 điểm so với mô hình cơ sở tự động tốt nhất. Các thử nghiệm bổ sung mở rộng đã xác nhận tính mạnh mẽ và hiệu quả của ACING. Mã nguồn có sẵn trên GitHub.
