Bài báo này tập trung vào khả năng của robot trong việc tóm tắt những trải nghiệm dài hạn và trả lời các câu hỏi—tức là khả năng diễn đạt bằng lời trải nghiệm của robot. Không giống như các nghiên cứu trước đây áp dụng các hệ thống dựa trên quy tắc hoặc các mô hình sâu được tinh chỉnh cho dữ liệu trải nghiệm ngắn hạn, vốn bị hạn chế về khả năng khái quát hóa và chuyển giao, nghiên cứu này tận dụng một mô hình ngôn ngữ quy mô lớn được đào tạo trước để diễn đạt bằng lời trải nghiệm của robot dài hạn thông qua việc học không hoặc học ít lần. Cấu trúc cây phân cấp được bắt nguồn từ bộ nhớ theo giai đoạn (EM), biểu diễn dữ liệu cảm giác và cảm thụ bản thể thô ở các cấp thấp hơn và các sự kiện trừu tượng dưới dạng các khái niệm ngôn ngữ tự nhiên ở các cấp cao hơn. Dựa trên các truy vấn của người dùng, mô hình ngôn ngữ quy mô lớn hoạt động như một tác nhân để khám phá EM một cách tương tác, mở rộng các nút cây một cách động để tìm thông tin có liên quan. Cách tiếp cận này duy trì chi phí tính toán thấp ngay cả với nhiều tháng dữ liệu trải nghiệm của robot. Chúng tôi đánh giá tính linh hoạt và khả năng mở rộng của phương pháp bằng cách sử dụng dữ liệu robot trong nhà được mô phỏng, video từ góc nhìn của con người và các bản ghi robot trong thế giới thực.
