Trong bài báo này, chúng tôi đề xuất Text-to-LoRA (T2L), một mô hình có thể ngay lập tức điều chỉnh một mô hình ngôn ngữ quy mô lớn (LLM) chỉ với các mô tả ngôn ngữ tự nhiên, để cải thiện quy trình tinh chỉnh phức tạp và tốn kém hiện có để điều chỉnh một mô hình cơ sở cho một tác vụ cụ thể. T2L là một siêu mạng được đào tạo để tạo LoRA thông qua một quá trình truyền thẳng về phía trước duy nhất, không tốn kém, được đào tạo bằng chín bộ điều hợp LoRA được đào tạo trước. Kết quả thử nghiệm cho thấy LoRA do T2L tạo ra có hiệu suất ngang bằng với các bộ điều hợp dành riêng cho tác vụ, nén hàng trăm trường hợp LoRA và đạt được tổng quát hóa zero-shot ngay cả trên các tác vụ hoàn toàn chưa từng thấy. Đây là một tiến bộ đáng kể giúp dân chủ hóa việc chuyên môn hóa các mô hình cơ sở và cho phép điều chỉnh dựa trên ngôn ngữ với các yêu cầu tính toán tối thiểu.
