Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới. Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận. Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.
Để Xóa bỏ ảo giác LLM cần phải suy nghĩ lại về khái quát hóa
Created by
Haebom
Tác giả
Johnny Li, Lãnh sự Saksham, Eda Chu, James Wong, Naila Farooqui, Yuxin Ye, Nithyashree Manohar, Zhuxiaona Wei, Tian Wu, Ben Echols, Sharon Chu, Gregory Diamos
Phác thảo
Bài báo này chứng minh bằng thực nghiệm rằng cách hiểu thông thường về ảo giác trong các mô hình ngôn ngữ quy mô lớn (LLM) - một vấn đề cân bằng giữa tính sáng tạo và tính hiện thực - thực tế là không chính xác. Thông qua các thí nghiệm về ghi nhớ các tập dữ liệu số ngẫu nhiên lớn và các mô hình lý thuyết, chúng tôi chứng minh rằng ảo giác trong LLM xảy ra khi độ mất dữ liệu huấn luyện vượt quá một ngưỡng nhất định và là một hiện tượng phổ biến trong huấn luyện dữ liệu quy mô internet. Chúng tôi nhấn mạnh những hạn chế của các kỹ thuật giảm thiểu ảo giác hiện có (sử dụng các nguồn kiến thức bên ngoài) và đề xuất một mô hình giảm ảo giác mới, Lamini-1, có khả năng tìm kiếm động hàng triệu chuyên gia về trí nhớ.
Takeaways, Limitations
•
Takeaways: Góp phần nâng cao độ tin cậy của LLM bằng cách chỉ ra những điểm không chính xác trong hiểu biết hiện tại về nguyên nhân gây ảo giác trong LLM và đề xuất một mô hình loại bỏ ảo giác mới, Lamini-1. Trình bày một cách tiếp cận mới đối với vấn đề ảo giác trong LLM.
•
Limitations: Cần xác nhận thêm hiệu suất thực tế và khả năng mở rộng của mô hình Lamini-1. Cần nghiên cứu thêm để xác định liệu mô hình này có hiệu quả với tất cả các loại ảo giác hay không. Cũng cần đánh giá chi phí tính toán và yêu cầu bộ nhớ của Lamini-1.
