본 논문은 로봇의 장기간 경험을 요약하고 질문에 답하는 능력, 즉 로봇 경험의 언어화에 초점을 맞춥니다. 기존 연구들은 짧은 기간의 경험 데이터에 규칙 기반 시스템이나 미세 조정된 심층 모델을 적용하여 일반화 및 전이성이 제한적이었던 반면, 본 연구는 사전 훈련된 거대 언어 모델을 활용하여 제로-샷 또는 퓨-샷 학습을 통해 로봇의 평생 경험을 언어화합니다. 에피소드 기억(EM)으로부터 계층적 트리 구조 데이터를 생성하여 저수준에는 원시 감각 및 고유수용 데이터를, 고수준에는 자연어 개념으로 추상화된 이벤트를 표현합니다. 거대 언어 모델을 에이전트로 활용하여 사용자 질의에 따라 EM을 상호작용적으로 탐색하고, 관련 정보를 찾기 위해 트리 노드를 동적으로 확장합니다. 이를 통해 수개월간의 로봇 경험 데이터에도 계산 비용을 낮게 유지합니다. 시뮬레이션 가정용 로봇 데이터, 인간 시점 영상, 실제 로봇 기록을 사용하여 방법의 유연성과 확장성을 평가합니다.
