Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

ĐIều hướng suy luận LLM thông qua sự thích ứng chỉ dựa trên thành kiến

Created by
  • Haebom

Tác giả

Viacheslav Sinii, Alexey Gorbatovski, Artem Cherepanov, Boris Shaposhnikov, Nikita Balagansky, Daniil Gavrilov

Phác thảo

Bài báo này trình bày một phương pháp sử dụng học tăng cường để huấn luyện một vectơ lái $d$-chiều duy nhất trên mỗi lớp, trong khi vẫn giữ nguyên các trọng số cơ sở. Phương pháp này đạt được hiệu suất tương đương với hiệu suất của một mô hình suy luận được điều chỉnh RL hoàn toàn trên một tác vụ suy luận toán học. Tham số hóa bổ sung chỉ chiếm khoảng 0,0016% của mô hình 8 tỷ tham số và hiệu suất có thể tái tạo trên nhiều mô hình cơ sở và điểm chuẩn suy luận toán học. Những kết quả này thu hẹp giới hạn trên của ngân sách tham số cần thiết cho suy luận chuỗi suy nghĩ đa chiều, cho thấy rằng hàng triệu trọng số bộ điều hợp là không cần thiết. Không gian huấn luyện tối thiểu làm giảm giao tiếp giữa bộ nhớ trình tối ưu hóa và GPU, giảm tổng chi phí tinh chỉnh. Hơn nữa, phân tích thấu kính logit chứng minh rằng các vectơ đã học khuếch đại các hướng mã thông báo nhất quán, cung cấp cái nhìn sâu sắc rõ ràng về tính toán nội bộ của mô hình.

Takeaways, Limitations

Takeaways: Một phương pháp học tham số hiệu quả cho suy luận chuỗi đa chiều được trình bày. So với các phương pháp hiện có, phương pháp này đạt hiệu suất tương đương với số lượng tham số bổ sung tối thiểu. Điều này giúp giảm chi phí tinh chỉnh và cũng giúp hiểu rõ hơn về hoạt động bên trong của mô hình.
Limitations: Cần nghiên cứu thêm để xác định khả năng khái quát hóa của phương pháp đề xuất. Cần đánh giá hiệu suất trên nhiều loại bài toán suy luận khác nhau. Kết quả có thể bị giới hạn ở một số loại suy luận toán học cụ thể.
👍