Bài báo này đề xuất Dự đoán Tuân thủ Token-Entropy (TECP), một khuôn khổ mới tận dụng entropy token để giải quyết vấn đề lượng hóa bất định (UQ) cho việc tạo ngôn ngữ mở trong các ràng buộc hộp đen. TECP sử dụng entropy cấp token làm thước đo bất định, không có logit hoặc tham chiếu, và tích hợp nó vào một quy trình Dự đoán Tuân thủ (CP) riêng biệt để tạo ra một tập hợp các dự đoán với các đảm bảo bao phủ chính thức. Không giống như các phương pháp hiện có dựa trên các phương pháp heuristic nhất quán ngữ nghĩa hoặc các đặc trưng hộp trắng, TECP trực tiếp ước tính bất định nhận thức từ cấu trúc entropy token của các sản phẩm được lấy mẫu và hiệu chỉnh ngưỡng bất định thông qua các phân vị CP, đảm bảo kiểm soát lỗi có thể xác minh. Các đánh giá thử nghiệm trên sáu mô hình ngôn ngữ quy mô lớn và hai điểm chuẩn (CoQA và TriviaQA) chứng minh rằng TECP luôn đạt được độ bao phủ đáng tin cậy và các tập dự đoán nhỏ gọn, vượt trội hơn các phương pháp UQ dựa trên tính tự nhất quán trước đây. Nghiên cứu này cung cấp một giải pháp có nguyên tắc và hiệu quả cho việc tạo ra đáng tin cậy trong bối cảnh LLM hộp đen.
