Bài báo này thiết kế các nhiệm vụ thuật toán tối thiểu trừu tượng hóa các nhiệm vụ mở, thực tế để đo lường định lượng các hạn chế sáng tạo của các mô hình ngôn ngữ hiện có. Các nhiệm vụ này đòi hỏi các bước lập kế hoạch ngầm, mở và mang tính xác suất, hoặc khám phá các kết nối mới trong một biểu đồ tri thức trừu tượng (ví dụ: chơi chữ, phép loại suy, nghiên cứu) hoặc xây dựng các mô hình mới (ví dụ: các bài toán hoặc thiết kế protein mới). Chúng tôi lập luận về mặt thực nghiệm và khái niệm chống lại sự thiển cận của việc học mã thông báo tiếp theo và cho rằng các phương pháp tiếp cận đa mã thông báo, chẳng hạn như đào tạo không cần giáo viên và các mô hình khuếch tán, vượt trội hơn trong việc tạo ra các đầu ra đa dạng và độc đáo. Hơn nữa, chúng tôi thấy rằng điều kiện hạt giống, đưa nhiễu vào lớp đầu vào để tạo ra tính ngẫu nhiên mà không ảnh hưởng đến tính nhất quán, có hiệu quả tương đương với lấy mẫu nhiệt độ ở lớp đầu ra, và trong một số điều kiện, thậm chí còn vượt trội hơn. Tóm lại, nghiên cứu này cung cấp một môi trường thử nghiệm tối thiểu, có nguyên tắc để phân tích các khả năng sáng tạo mở và đưa ra các lập luận mới vượt ra ngoài việc học mã thông báo tiếp theo và lấy mẫu nhiệt độ.
