Bài báo này nghiên cứu khả năng "tư duy mềm" của các mô hình ngôn ngữ quy mô lớn (LLM) bằng cách sử dụng các kỹ thuật khám phá khác nhau. Tư duy mềm nhằm mục đích tạo ra các mã thông báo mềm để hỗ trợ suy luận trong một không gian khái niệm liên tục. Trái với quan niệm thông thường, chúng tôi nhận thấy rằng LLM chủ yếu dựa vào các thành phần đầu vào mềm có ảnh hưởng nhất trong quá trình giải mã tiếp theo, cản trở việc khám phá các đường suy luận đa dạng. Để khắc phục hạn chế này, chúng tôi áp dụng tính ngẫu nhiên thông qua các chiến lược lấy mẫu như lấy mẫu lại Dirichlet và kỹ thuật Gumbel-Softmax, nhằm khai phá tiềm năng của tư duy mềm. Kết quả thực nghiệm cho thấy kỹ thuật Gumbel-Softmax vượt trội hơn kỹ thuật Gumbel-Softmax trên tám chuẩn suy luận.
