Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

MAC-Tuning: LLM Lý luận vấn đề đa thành phần với nhận thức ranh giới kiến ​​thức nâng cao

Created by
  • Haebom

Tác giả

Junsheng Huang (tháng 5), Zhitao He (tháng 5), Yu Cheng Huang (tháng 5), Sandeep Polisetty (tháng 5), Qingyun Wang (tháng 5), Yi. R (tháng 5), Fung

Phác thảo

Bài báo này trình bày một phương pháp mới để giải quyết vấn đề tạo ra các sự kiện hư cấu trong các mô hình ngôn ngữ quy mô lớn (LLM), được sử dụng rộng rãi trong nhiều ứng dụng khác nhau. Các nghiên cứu trước đây tập trung vào việc ước tính độ tin cậy bằng cách phân tích các ranh giới kiến ​​thức được tham số hóa nội bộ của mô hình, nhưng chỉ giới hạn trong các thiết lập bài toán đơn lẻ. Trong bài báo này, chúng tôi đề xuất MAC-Tuning (Nhiều câu trả lời và Điều chỉnh từng bước độ tin cậy), một phương pháp mới cho các thiết lập đa bài toán khó hơn, trong đó nhiều câu hỏi phải được trả lời chính xác cùng lúc. MAC-Tuning tách biệt quá trình dự đoán câu trả lời và quá trình học ước tính độ tin cậy trong quá trình tinh chỉnh trên dữ liệu tham chiếu. Các thí nghiệm mở rộng chứng minh rằng phương pháp được đề xuất cải thiện độ chính xác trung bình lên đến 25% so với các phương pháp hiện có.

Takeaways, Limitations

Takeaways: Chúng tôi trình bày MAC-Tuning, một phương pháp hiệu quả để giải quyết bài toán tạo dữ kiện của LLM trong bối cảnh đa bài toán. Phương pháp này cải thiện đáng kể độ chính xác trung bình so với các phương pháp hiện có. Chúng tôi chứng minh tính hiệu quả của phương pháp tách biệt dự đoán câu trả lời và ước lượng độ tin cậy.
Limitations: Những cải tiến về hiệu suất của MAC-Tuning được trình bày trong bài báo này có thể chỉ giới hạn ở các tập dữ liệu hoặc loại bài toán cụ thể. Cần có thêm các thử nghiệm trên nhiều kiến ​​trúc và tập dữ liệu LLM khác nhau. Cũng cần phân tích sâu hơn về độ chính xác của ước lượng độ tin cậy trong các bối cảnh đa bài toán.
👍