Bài báo này nhấn mạnh rằng giải mã suy đoán, giúp tăng tốc suy luận mô hình ngôn ngữ quy mô lớn, dựa trên độ dài suy đoán cố định, không tối ưu trong môi trường dịch vụ hàng loạt quy mô lớn với các yêu cầu đa dạng. Do đó, bài báo này khám phá các hướng mới cho việc thích ứng động bằng cách nghiên cứu một loại tín hiệu chẩn đoán hậu kiểm tra mới. Để đạt được mục đích này, chúng tôi đề xuất Công cụ Giải mã Suy đoán Động (DSDE), một khuôn khổ không cần đào tạo dựa trên hai thành phần chính: thứ nhất, một tín hiệu dự đoán dựa trên phương sai của phân kỳ Kullback-Leibler (KLD), chẩn đoán tính ổn định cục bộ của thế hệ; và thứ hai, một giới hạn trên của độ dài suy đoán thích ứng để giảm thiểu các vấn đề về độ trễ tại mỗi lần giải mã chuỗi. Kết quả thử nghiệm chứng minh tiềm năng của việc sử dụng tín hiệu ổn định dựa trên KLD cho việc thích ứng động. Các thuật toán được hướng dẫn bởi các tín hiệu này đạt được độ trễ đầu cuối cạnh tranh với các chuẩn mực tốt nhất trong cùng loại và thể hiện độ mạnh mẽ tuyệt vời trên nhiều khối lượng công việc khác nhau. Độ mạnh mẽ này đặc biệt có giá trị trong các chế độ dung lượng thấp, nơi việc duy trì tiện ích chẩn đoán là một thách thức đối với tín hiệu được đề xuất. Tóm lại, những phát hiện này xác nhận rằng tín hiệu sau là một thành phần quan trọng để xây dựng các hệ thống suy luận LLM mạnh mẽ và thông minh hơn, đồng thời nêu bật những hướng đi đầy hứa hẹn cho nghiên cứu trong tương lai về khả năng thích ứng độ dài suy đoán động.
