Bài báo này đề xuất CycleDistill, một phương pháp bootstrapping mới để xây dựng các hệ thống dịch máy chất lượng cao cho các ngôn ngữ có ít tài nguyên. CycleDistill tận dụng mô hình ngôn ngữ quy mô lớn (LLM) và các bản dịch few-shot để tạo ra các kho ngữ liệu song song tổng hợp theo chu kỳ từ một kho ngữ liệu đơn ngữ, tinh chỉnh mô hình bằng cách sử dụng dữ liệu được tạo ra. Các kho ngữ liệu song song chỉ cần 1-4 ví dụ few-shot, và các thử nghiệm trên ba ngôn ngữ Ấn Độ chứng minh rằng ngay cả với một kho ngữ liệu đơn ngữ liệu, bản dịch máy chất lượng cao vẫn đạt được, với mức cải thiện trung bình 20-30 điểm chrF trong lần lặp đầu tiên so với mô hình cơ sở few-shot. Hơn nữa, chúng tôi nghiên cứu hiệu ứng của việc sử dụng các kích hoạt softmax trong quá trình chưng cất và nhận thấy sự cải thiện nhẹ về chất lượng dịch thuật.
