Lấy cảm hứng từ khả năng học từ mới nhanh chóng từ một số ít ví dụ và sử dụng chúng linh hoạt trong nhiều ngữ cảnh khác nhau của con người, bài báo này trình bày Minnow (Meta-training for In-context Learning of Words), một phương pháp mới giúp cải thiện khả năng học từ chỉ sau vài lần thử nghiệm trên mô hình ngôn ngữ. Minnow huấn luyện một mô hình ngôn ngữ để tạo ra các ví dụ về từ mới bằng cách sử dụng các mã thông báo giữ chỗ đặc biệt. Việc huấn luyện lặp lại trên nhiều từ mới khác nhau sẽ phát triển các khả năng học từ chung. Kết quả thực nghiệm chứng minh rằng việc huấn luyện một mô hình ngôn ngữ từ đầu bằng Minnow sử dụng dữ liệu ngôn ngữ con đạt được khả năng học từ tương đương với các mô hình ngôn ngữ quy mô lớn (LLM) được huấn luyện trước với nhiều dữ liệu hơn chỉ sau vài lần thử nghiệm. Hơn nữa, việc tinh chỉnh Minnow trên LLM được huấn luyện trước giúp cải thiện khả năng phân đoạn từ mới, xác định các phạm trù cú pháp của chúng và tạo ra các ví dụ và định nghĩa sử dụng mới dựa trên một vài ví dụ theo ngữ cảnh. Điều này làm nổi bật hiệu quả dữ liệu của Minnow và tiềm năng nâng cao hiệu suất của mô hình ngôn ngữ trong các tác vụ học từ.
