Trong bài báo này, chúng tôi trình bày Minnow (Meta-training for In-context Learning of Words), một phương pháp mới giúp tăng cường khả năng học từ vựng theo ngữ cảnh. Minnow huấn luyện một mô hình ngôn ngữ để tạo ra các ví dụ về từ mới bằng cách sử dụng các mã thông báo giữ chỗ đặc biệt. Điều quan trọng là phát triển khả năng học từ chung bằng cách huấn luyện lặp lại nhiều từ mới. Kết quả thử nghiệm chứng minh rằng Minnow, được huấn luyện từ đầu trên dữ liệu ngôn ngữ của trẻ em, đạt được hiệu suất học từ vựng theo ngữ cảnh nhỏ tương đương với mô hình ngôn ngữ quy mô lớn (LLM) được huấn luyện trước với lượng dữ liệu lớn hơn đáng kể. Hơn nữa, việc tinh chỉnh Minnow trên LLM được huấn luyện trước giúp cải thiện khả năng phân đoạn từ mới, xác định các phạm trù cú pháp và tạo ra các ví dụ và định nghĩa sử dụng mới. Những kết quả này chứng minh hiệu quả dữ liệu của Minnow và tiềm năng của nó trong việc nâng cao hiệu suất của mô hình ngôn ngữ trong các tác vụ học từ.
