Bài báo này phân tích khả năng "tư duy mềm" của các mô hình ngôn ngữ quy mô lớn (LLM) bằng cách sử dụng các kỹ thuật khám phá khác nhau. Trái với những kỳ vọng thông thường về tư duy mềm, chúng tôi nhận thấy rằng LLM chủ yếu dựa vào các thành phần có ảnh hưởng nhất của mã thông báo mềm, hạn chế khả năng khám phá đường dẫn suy luận của chúng. Điều này tương tự như giải mã tham lam, vốn làm lu mờ lợi thế của việc truyền tải nhiều thông tin hơn thông qua mã thông báo mềm. Để giải quyết vấn đề này, chúng tôi giới thiệu tính ngẫu nhiên thông qua các chiến lược lấy mẫu như lấy mẫu lại Dirichlet và kỹ thuật Gumbel-Softmax, đồng thời kiểm chứng hiệu quả của chúng bằng thực nghiệm trên tám chuẩn suy luận. Chúng tôi xác nhận rằng kỹ thuật Gumbel-Softmax đạt được hiệu suất tốt nhất bằng cách cung cấp tính ngẫu nhiên phù hợp và độ mượt được kiểm soát.
