Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Một lý thuyết học tập với chuỗi suy nghĩ tự hồi quy

Created by
  • Haebom

Tác giả

Nirmit Joshi, Gal Vardi, Adam Block, Surbhi Goel, Zhiyuan Li, Theodor Misiakiewicz, Nathan Srebro

Phác thảo

Bài báo này xem xét việc học một ánh xạ gợi ý-trả lời, trong đó một bộ tạo bất biến theo thời gian lặp lại qua nhiều bước để tạo ra một chuỗi suy nghĩ, cho trước một lớp cơ sở tạo ra một chuỗi các mã thông báo và mã thông báo cuối cùng được sử dụng làm câu trả lời. Chúng tôi xây dựng bài toán học cho cả hai trường hợp trong đó quá trình suy nghĩ được quan sát và các trường hợp trong đó quá trình suy nghĩ chỉ được học từ các cặp gợi ý-trả lời (khi quá trình suy nghĩ là tiềm ẩn), và phân tích độ phức tạp của mẫu và tính toán cho các lớp cơ sở cụ thể, chẳng hạn như các thuộc tính chung của lớp cơ sở (ví dụ: chiều VC) và ngưỡng tuyến tính. Chúng tôi trình bày một lớp cơ sở đơn giản cho phép học một chuỗi suy nghĩ có thể biểu diễn phổ quát và có thể xử lý được bằng tính toán, và độ phức tạp của mẫu của nó không phụ thuộc vào độ dài của chuỗi suy nghĩ do tính bất biến theo thời gian của nó. Sự chú ý được đưa vào một cách tự nhiên trong nghiên cứu này.

Takeaways, Limitations

Takeaways:
Bằng cách chứng minh rằng độ phức tạp của mẫu quá trình học tư duy sử dụng máy phát bất biến theo thời gian không phụ thuộc vào độ dài của quá trình suy nghĩ, chúng tôi đề xuất khả năng học hiệu quả các quá trình suy nghĩ dài.
Chúng tôi đề xuất một lớp cơ sở mới để học các quá trình suy nghĩ có thể diễn đạt phổ biến và hiệu quả về mặt tính toán.
Chúng tôi cung cấp một khuôn khổ mới trong đó các cơ chế chú ý được kích hoạt một cách tự nhiên.
Limitations:
Thiếu sự xác thực thực nghiệm về hiệu suất thực tế và khả năng khái quát hóa của lớp cơ sở được đề xuất.
Những hạn chế của giả định về tính bất biến theo thời gian khi áp dụng vào các vấn đề thực tế vẫn chưa rõ ràng.
Cần có thêm nghiên cứu để mô hình hóa hiệu quả các quá trình tư duy phức tạp.
👍