Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới. Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận. Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.
CHÍNH THỨC: Ước tính độ bất định đa cấp được tăng cường bằng đồ thị cho các mô hình ngôn ngữ lớn
Created by
Haebom
Tác giả
Đà Vương, Adithya Kulkarni, Tyler Cody, Peter A. Beling, Yujun Yan, Dawei Chu
Phác thảo
Bài báo này nhấn mạnh tầm quan trọng của việc ước tính độ bất định nhằm cải thiện độ tin cậy của các mô hình ngôn ngữ quy mô lớn (LLM) và giới thiệu khuôn khổ GENUINE (Ước tính độ bất định đa cấp tăng cường đồ thị) để giải quyết vấn đề bỏ sót các phụ thuộc ngữ nghĩa do các phép đo xác suất ở cấp độ mã thông báo, vốn Limitations trong các phương pháp hiện có. GENUINE thực hiện định lượng độ bất định có nhận biết cấu trúc bằng cách sử dụng cây phân tích cú pháp phụ thuộc và nhóm đồ thị phân cấp, đồng thời mô hình hóa hiệu quả các mối quan hệ ngữ nghĩa và cấu trúc thông qua học có giám sát để cải thiện đánh giá độ tin cậy. Kết quả thử nghiệm trên các tác vụ NLP khác nhau chứng minh tính hiệu quả của mô hình hóa độ bất định dựa trên đồ thị, đạt được AUROC cao hơn tới 29% và giảm lỗi hiệu chuẩn hơn 15% so với các phương pháp dựa trên entropy ngữ nghĩa hiện có. Mã nguồn có sẵn tại https://github.com/ODYSSEYWT/GUQ .
Chúng tôi chứng minh rằng mô hình hóa sự không chắc chắn dựa trên đồ thị có thể cải thiện độ tin cậy của LLM.
◦
Chúng tôi chứng minh bằng thực nghiệm rằng phương pháp này cung cấp ước tính độ chính xác và độ không chắc chắn được bù trừ cao hơn so với phương pháp từng mã thông báo hiện tại.
◦
Có thể thực hiện các biện pháp đo lường sự không chắc chắn phức tạp hơn bằng cách tính đến các mối quan hệ về mặt ngữ nghĩa và cấu trúc.
◦
Cung cấp khuôn khổ chung áp dụng cho nhiều nhiệm vụ NLP khác nhau.
•
Limitations:
◦
Việc cải thiện hiệu suất của phương pháp đề xuất có thể bị giới hạn ở các tập dữ liệu hoặc tác vụ cụ thể.
◦
Chi phí tính toán có thể cao hơn so với các phương pháp thông thường.
◦
Kết quả có thể bị ảnh hưởng bởi tính chính xác của cây phân tích phụ thuộc.
◦
Cần có thêm nghiên cứu về hiệu suất tổng quát cho các loại LLM khác nhau.
