Bài báo này trình bày DistillPrompt, một phương pháp mới để tạo lời nhắc tự động (autoprompting), đang thu hút sự chú ý nhờ những tiến bộ trong nghiên cứu kỹ thuật lời nhắc cho các mô hình ngôn ngữ quy mô lớn (LLM). DistillPrompt là một phương pháp tự động nhắc dựa trên LLM, tận dụng dữ liệu đào tạo để tích hợp thông tin cụ thể của tác vụ vào lời nhắc trong một quy trình nhiều bước. Các thao tác chưng cất, nén và tổng hợp được sử dụng để khám phá toàn diện không gian lời nhắc. Các thử nghiệm với mô hình ngôn ngữ t-lite-instruct-0.1 trên nhiều tập dữ liệu khác nhau cho các tác vụ phân loại và tạo văn bản cho thấy hiệu suất được cải thiện đáng kể so với các phương pháp hiện có về các chỉ số chính (ví dụ: cải thiện trung bình 20,12% so với Grips trên toàn bộ tập dữ liệu). Điều này chứng tỏ rằng DistillPrompt là một trong những phương pháp tự động nhắc không dựa trên gradient hiệu quả nhất.
