Trong bài báo này, chúng tôi so sánh hiệu suất của các mô hình ngôn ngữ tự hồi quy (AR) và các mô hình ngôn ngữ dựa trên khuếch tán trong môi trường thiếu dữ liệu. Chúng tôi chứng minh bằng thực nghiệm rằng, khi được cung cấp đủ tài nguyên tính toán trong tình huống học lặp lại với dữ liệu hạn chế, mô hình khuếch tán vượt trội hơn đáng kể so với mô hình tự hồi quy. Chúng tôi diễn giải điều này là kết quả của hiệu ứng tăng cường dữ liệu ngầm định thu được bởi mô hình khuếch tán bằng cách cho nó tiếp xúc với các phân phối khác nhau của thứ tự token và các tác vụ dự đoán. Ngoài ra, chúng tôi đề xuất một quy luật tỷ lệ mới cho mô hình khuếch tán và đưa ra một công thức dạng đóng để tính toán lượng tính toán quan trọng mà tại đó mô hình khuếch tán vượt trội hơn mô hình tự hồi quy. Tóm lại, chúng tôi cho rằng mô hình khuếch tán có thể là một giải pháp thay thế hấp dẫn cho mô hình tự hồi quy trong các tình huống mà dữ liệu ít hơn tài nguyên tính toán.
