Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Nemori: Ký ức của tác nhân tự tổ chức lấy cảm hứng từ khoa học nhận thức

Created by
  • Haebom

Tác giả

Jiayan Nan, Wenquan Ma, Wenlong Wu, Yize Chen

Phác thảo

Bài báo này trình bày Nemori, một kiến trúc bộ nhớ tự tổ chức mới dựa trên các nguyên tắc nhận thức của con người, nhằm giải quyết vấn đề thiếu khả năng lưu giữ bộ nhớ dài hạn liên tục, vốn hạn chế hiệu quả của các mô hình ngôn ngữ quy mô lớn (LLM) như các tác nhân tự chủ trong các tương tác dài hạn. Nemori giải quyết vấn đề về độ chi tiết của các đơn vị bộ nhớ bằng cách tự động tổ chức các luồng hội thoại thành các tập hợp mạch lạc về mặt ngữ nghĩa thông qua Nguyên tắc Căn chỉnh Hai bước, lấy cảm hứng từ lý thuyết phân đoạn sự kiện. Hơn nữa, Nguyên tắc Dự đoán-Hiệu chuẩn, lấy cảm hứng từ các nguyên tắc năng lượng tự do, cho phép tiến hóa kiến thức thích ứng vượt ra ngoài các phương pháp tìm kiếm được xác định trước dựa trên sự khác biệt về dự đoán. Các thí nghiệm mở rộng trên các điểm chuẩn LoCoMo và LongMemEval chứng minh rằng Nemori vượt trội đáng kể so với các hệ thống tiên tiến hiện có, đặc biệt là trong các bối cảnh dài hạn.

Takeaways, Limitations

Takeaways:
Nemori trình bày một phương pháp mới để giải quyết vấn đề trí nhớ dài hạn của LLM, một cấu trúc trí nhớ tự tổ chức mới dựa trên các nguyên tắc nhận thức của con người.
Giải quyết hiệu quả vấn đề về độ chi tiết của các đơn vị bộ nhớ và vấn đề phát triển kiến thức thích ứng thông qua Nguyên tắc căn chỉnh hai bước và Nguyên tắc dự đoán-hiệu chuẩn.
Sự vượt trội của Nemori được chứng minh bằng việc vượt trội hơn các hệ thống hiện đại trên các tiêu chuẩn LoCoMo và LongMemEval.
Trình bày một lộ trình khả thi cho quá trình xử lý quy trình làm việc của tác nhân tự động, năng động và dài hạn.
Limitations:
Ngoài thực tế là hiệu suất của Nemori đặc biệt đáng chú ý trong bối cảnh dài, cần nghiên cứu thêm để xác định khả năng khái quát hóa của nó đối với các loại tương tác hoặc nhiệm vụ khác.
Cần phân tích sâu hơn về các thiết lập tham số cụ thể và tối ưu hóa Nguyên tắc căn chỉnh hai bước và Nguyên tắc dự đoán-hiệu chuẩn.
Cần nghiên cứu thêm để đánh giá hiệu suất và độ bền của Nemori trong các tình huống thực tế phức tạp.
👍