Este artículo se centra en la capacidad de los robots para resumir experiencias a largo plazo y responder preguntas, es decir, para verbalizar la experiencia robótica. Si bien estudios previos han limitado la generalización y la transferibilidad mediante la aplicación de sistemas basados en reglas o modelos profundos afinados a datos de experiencia a corto plazo, este estudio aprovecha un modelo de lenguaje a gran escala preentrenado para verbalizar la experiencia de vida de un robot mediante aprendizaje de cero o pocos disparos. Genera datos jerárquicos estructurados en árbol a partir de memorias episódicas (ME), que representan datos sensoriales y propioceptivos sin procesar a niveles bajos y eventos abstraídos utilizando conceptos de lenguaje natural a niveles altos. El modelo de lenguaje a gran escala actúa como un agente para explorar interactivamente las ME en función de las consultas del usuario, expandiendo dinámicamente los nodos del árbol para encontrar información relevante. Este enfoque mantiene bajos costos computacionales incluso con meses de datos de experiencia robótica. Evaluamos la flexibilidad y escalabilidad de nuestro método utilizando datos simulados de robots domésticos, videos desde el punto de vista humano y grabaciones de robots del mundo real.
