Cet article se concentre sur la capacité des robots à synthétiser leurs expériences à long terme et à répondre à des questions, c'est-à-dire à verbaliser leur expérience robotique. Contrairement aux études précédentes qui appliquaient des systèmes basés sur des règles ou des modèles profonds affinés à des données d'expérience à court terme, dont la généralisation et la transférabilité étaient limitées, cette étude s'appuie sur un modèle de langage à grande échelle pré-entraîné pour verbaliser l'expérience robotique à long terme par un apprentissage à zéro ou à quelques coups. Une structure arborescente hiérarchique est dérivée de la mémoire épisodique (ME), représentant les données sensorielles et proprioceptives brutes aux niveaux inférieurs et les événements abstraits sous forme de concepts en langage naturel aux niveaux supérieurs. En fonction des requêtes des utilisateurs, le modèle de langage à grande échelle agit comme un agent pour explorer interactivement la ME, en développant dynamiquement les nœuds de l'arbre afin de trouver des informations pertinentes. Cette approche maintient de faibles coûts de calcul, même avec des mois de données d'expérience robotique. Nous évaluons la flexibilité et l'évolutivité de notre méthode à l'aide de données de robots domestiques simulés, de vidéos en perspective humaine et d'enregistrements de robots réels.
