Cet article se concentre sur la capacité des robots à synthétiser des expériences à long terme et à répondre à des questions, c'est-à-dire à verbaliser l'expérience robotique. Alors que les études précédentes limitaient la généralisation et la transférabilité en appliquant des systèmes basés sur des règles ou des modèles profonds affinés aux données d'expérience à court terme, cette étude s'appuie sur un modèle de langage à grande échelle pré-entraîné pour verbaliser l'expérience d'un robot au cours de sa vie grâce à un apprentissage à zéro ou à quelques coups. Il génère des données arborescentes hiérarchiques à partir de mémoires épisodiques (ME), représentant des données sensorielles et proprioceptives brutes à bas niveau et des événements abstraits utilisant des concepts de langage naturel à haut niveau. Le modèle de langage à grande échelle agit comme un agent pour explorer interactivement les ME en fonction des requêtes des utilisateurs, en développant dynamiquement les nœuds de l'arbre afin de trouver des informations pertinentes. Cette approche maintient de faibles coûts de calcul, même avec des mois de données d'expérience robotique. Nous évaluons la flexibilité et l'évolutivité de notre méthode à l'aide de données de robots domestiques simulés, de vidéos en perspective humaine et d'enregistrements de robots réels.
