Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Thời gian là một tính năng: Khai thác động lực thời gian trong các mô hình ngôn ngữ khuếch tán

Created by
  • Haebom

Tác giả

Wen Wang, Bozhen Fang, Chenchen Jing, Yongliang Shen, Yangyi Shen, Qiuyu Wang, Hao Ouyang, Hao Chen, Chunhua Shen

Phác thảo

Mô hình Ngôn ngữ Quy mô Lớn Khuếch tán (dLLM) tạo văn bản thông qua quá trình khử nhiễu lặp đi lặp lại, nhưng các chiến lược giải mã hiện tại lại loại bỏ các dự đoán trung gian phong phú cho đầu ra cuối cùng. Nghiên cứu này khám phá ra hiện tượng dao động thời gian, trong đó các câu trả lời đúng xuất hiện trong giai đoạn trung gian và sau đó bị ghi đè trong giai đoạn khử nhiễu. Để giải quyết vấn đề này, chúng tôi đề xuất hai phương pháp bổ sung tận dụng tính nhất quán về mặt thời gian. Đầu tiên, Biểu quyết Tự Nhất quán Thời gian (TSV), một chiến lược giải mã thời gian kiểm tra không cần đào tạo, tổng hợp các dự đoán từ giai đoạn khử nhiễu để chọn đầu ra nhất quán nhất. Thứ hai, Củng cố Tính Nhất quán Thời gian (TCR), một phương pháp sau đào tạo khuyến khích tạo ra ổn định bằng cách sử dụng Entropy Ngữ nghĩa Thời gian (TSE), một thước đo tính ổn định ngữ nghĩa trong các dự đoán trung gian, như một tín hiệu thưởng. Kết quả thử nghiệm trên một số điểm chuẩn chứng minh tính hiệu quả của phương pháp được đề xuất. Chỉ sử dụng bù TSE âm, chúng tôi quan sát thấy hiệu suất trung bình được cải thiện đáng kể là 24,7% so với dLLM hiện có trên tập dữ liệu Đếm ngược. Kết hợp với bù trừ độ chính xác, chúng tôi đã đạt được cải thiện hiệu suất tuyệt đối 2,0% trên GSM8K, 4,3% trên MATH500, 6,6% trên SVAMP và 25,3% trên Countdown. Những kết quả này làm nổi bật tiềm năng chưa được khai thác của động lực học thời gian của dLLM và cung cấp hai công cụ đơn giản nhưng hiệu quả để khai thác nó.

Takeaways, Limitations

Takeaways:
Chúng tôi xác định hiện tượng dao động thời gian xảy ra trong quá trình tạo trung gian của dLLM và đề xuất hai phương pháp hiệu quả để cải thiện nó (bỏ phiếu tự nhất quán thời gian và tăng cường tính nhất quán thời gian).
Chúng tôi chứng minh bằng thực nghiệm rằng việc tận dụng tính nhất quán về mặt thời gian có thể cải thiện đáng kể hiệu suất của dLLM (cải thiện hiệu suất đáng kể trên các tập dữ liệu GSM8K, MATH500, SVAMP và Countdown).
Bằng cách cung cấp hiểu biết mới và sử dụng động lực thời gian của dLLM, nó cung cấp Takeaways quan trọng cho nghiên cứu và phát triển dLLM trong tương lai.
Limitations:
Hiệu quả của phương pháp đề xuất có thể bị giới hạn ở một số tập dữ liệu và mô hình cụ thể. Cần có thêm các thử nghiệm trên nhiều tập dữ liệu và mô hình khác nhau.
Hiện vẫn chưa có mô tả chi tiết về định nghĩa và cách tính entropy ngữ nghĩa thời gian (TSE). Cần phân tích sâu hơn về khả năng khái quát hóa và các hạn chế của TSE.
Việc phân tích độ phức tạp tính toán của các phương pháp bỏ phiếu tự nhất quán theo thời gian và tăng cường tính nhất quán theo thời gian vẫn còn thiếu sót. Cần xem xét thêm về hiệu quả của chúng trong các ứng dụng thực tế.
👍