Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Nhúng tốt hơn với Couple Adam

Created by
  • Haebom

Tác giả

Felix Stollenwerk, Tobias Stollenwerk

Phác thảo

Bài báo này đề cập đến vấn đề học biểu diễn từ của các mô hình ngôn ngữ quy mô lớn (LLM) với một đặc tính không mong muốn được gọi là dị hướng. Các nhà nghiên cứu lập luận rằng mômen bậc hai của bộ tối ưu hóa Adam là nguyên nhân gây ra hiện tượng nhúng dị hướng và đề xuất một bộ tối ưu hóa được sửa đổi, Coupled Adam, để giảm thiểu vấn đề này. Kết quả thực nghiệm cho thấy Coupled Adam cải thiện đáng kể chất lượng nhúng và nâng cao hiệu suất của cả tác vụ cấp trên và cấp dưới trên các tập dữ liệu đủ lớn.

Takeaways, Limitations

•
Takeaways:
◦
Chúng tôi cho rằng mômen thứ hai của bộ tối ưu hóa Adam có thể là nguyên nhân gây ra vấn đề nhúng dị hướng trong LLM.
◦
Chúng tôi chứng minh rằng trình tối ưu hóa mới có tên Coupled Adam có thể khắc phục vấn đề dị hướng và cải thiện hiệu suất của LLM.
◦
Nó góp phần cải thiện hiệu suất của các tác vụ trên và dưới trên các tập dữ liệu đủ lớn.
•
Limitations:
◦
Hiệu quả của Coupled Adam được đề xuất có thể phụ thuộc vào quy mô tập dữ liệu (nó đã được chứng minh là có hiệu quả trên các tập dữ liệu lớn, nhưng hiệu quả của nó có thể khác nhau trên các tập dữ liệu nhỏ hơn).
◦
ĐâY có thể không phải là giải pháp hoàn chỉnh cho nguyên nhân gốc rễ của vấn đề dị hướng (chúng ta chỉ đề cập đến khoảnh khắc thứ hai và có thể còn có những yếu tố khác liên quan).
👍
Made with Slashpage