Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Xác suất của LLM trò chuyện bị hiệu chỉnh sai nhưng vẫn dự đoán được tính chính xác trong phần Hỏi & Đáp trắc nghiệm

Created by
  • Haebom

Tác giả

Benjamin Plaut, Nguyễn X. Khánh, Tú Trinh

Phác thảo

Bài báo này phân tích 15 mô hình ngôn ngữ quy mô lớn (LLM) và nhận thấy rằng xác suất softmax tối đa (MSP) của LLM được tinh chỉnh cho trò chuyện luôn bị hiệu chuẩn sai trong phần Hỏi & Đáp trắc nghiệm. Tuy nhiên, MSP vẫn có thể chứa thông tin không chắc chắn hữu ích. Chúng tôi đưa ra giả thuyết rằng các câu trả lời không chính xác sẽ liên quan đến MSP nhỏ hơn so với câu trả lời đúng và kiểm tra thống kê nghiêm ngặt chứng minh rằng giả thuyết này đúng đối với các mô hình hoạt động tốt trong nhiệm vụ Hỏi & Đáp cơ bản. Chúng tôi cũng tìm thấy mối tương quan định hướng mạnh mẽ giữa độ chính xác của Q&A và dự đoán độ chính xác của MSP, nhưng không có mối tương quan giữa độ chính xác của Q&A và lỗi hiệu chuẩn. Điều này cho thấy rằng trong mô hình tinh chỉnh hiện tại, việc cải thiện hiệu suất LLM có thể sẽ dẫn đến dự đoán độ chính xác được cải thiện, chứ không phải hiệu chuẩn. Chúng tôi cũng trình bày các kết quả thử nghiệm chứng minh rằng việc loại bỏ có chọn lọc các phản hồi dựa trên MSP có thể cải thiện hiệu suất.

Takeaways, Limitations

•
Takeaways:
◦
Chúng tôi chứng minh rằng ngay cả khi MSP của LLM bị hiệu chỉnh sai trong phần hỏi đáp trắc nghiệm, nó vẫn có thể cung cấp thông tin hữu ích để dự đoán câu trả lời đúng/sai.
◦
Khi hiệu suất LLM được cải thiện, hiệu suất dự đoán câu trả lời đúng có thể sẽ được cải thiện, nhưng hiệu suất sửa lỗi thì không có khả năng cải thiện.
◦
MSP có thể được sử dụng để cải thiện hiệu suất thông qua chiến lược loại bỏ. Ngay cả với một lượng nhỏ dữ liệu nhãn, hiệu suất vẫn có thể được cải thiện bằng cách thiết lập ngưỡng MSP.
•
Limitations:
◦
Phân tích chỉ giới hạn ở một loại nhiệm vụ Hỏi & Đáp cụ thể.
◦
Cần nghiên cứu thêm để xác định khả năng tổng quát hóa các chiến lược từ chối phản hồi dựa trên MSP.
◦
Cần nghiên cứu thêm về nhiều kiến trúc LLM và phương pháp tinh chỉnh khác nhau.
👍
Made with Slashpage