Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới. Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận. Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.
Bài báo này đề cập đến mô hình dự đoán mã thông báo tiếp theo chiếm ưu thế trong các mô hình tự hồi quy của các mô hình ngôn ngữ quy mô lớn (LLM). Các LLM hiện có sử dụng thang đo nhiệt độ và lấy mẫu hạt nhân làm phương pháp lấy mẫu cơ bản để đảm bảo tính đa dạng và tính nhất quán, nhưng chúng có hiệu suất kém khi mô hình không chắc chắn. Để giải quyết vấn đề này, chúng tôi đề xuất một chiến lược giải mã không cần đào tạo mới, Dự đoán mã thông báo tiếp theo thận trọng (CNTP). CNTP thực hiện nhiều lần thử độc lập khi entropy dự đoán của mô hình cao và dừng lại khi gặp dấu chấm câu. Sau đó, nó chọn lần thử có điểm số bối rối thấp nhất làm đường dẫn có khả năng xảy ra và đáng tin cậy nhất. Số lần thử tỷ lệ nghịch với độ tin cậy của dự đoán và nhiều lần thử hơn được thực hiện khi độ tin cậy của mô hình thấp. Các thí nghiệm mở rộng trên LLM và MLLM cho thấy CNTP vượt trội hơn các chiến lược giải mã hiện có và cải thiện hiệu suất hơn nữa bằng cách kết hợp tính tự nhất quán.
Takeaways, Limitations
•
Takeaways:
◦
Chúng tôi trình bày một chiến lược giải mã mới, CNTP, khắc phục được những hạn chế của phương pháp giải mã dựa trên lấy mẫu hạt nhân và phương pháp điều chỉnh nhiệt độ thông thường.
◦
Nó vượt trội hơn các phương pháp hiện có trong LLM và MLLM.
◦
Kết hợp với tính nhất quán của bản thân sẽ mang lại tiềm năng cải thiện hiệu suất hơn nữa.
◦
Có khả năng đây sẽ trở thành chiến lược cơ bản cho việc giải mã LLM.
•
Limitations:
◦
Chi phí tính toán của CNTP có thể cao hơn so với các phương pháp hiện có (chi phí tính toán tăng do số lần thử tăng)
◦
Có thể thiếu hướng dẫn rõ ràng trong việc xác định số lần thử tối ưu.
◦
Cần nghiên cứu thêm về hiệu suất tổng quát cho các kiến trúc LLM và MLLM khác nhau.
