본 논문은 대규모 언어 모델(LLM)의 3D 공간-시간적 추론 능력 향상을 위한 연구를 제시한다. 현재 LLM은 동적인 다중 공간 3D 환경에서 효과적으로 계획하고 행동하는 데 어려움을 겪는데, 이는 적절한 3D 공간-시간 기억 모델링의 부재 때문이라고 주장한다. 이를 해결하기 위해, 26,000개 이상의 궤적과 2,892개의 임바디드 태스크를 포함하는 종합적인 벤치마크인 3DMem-Bench를 제시하고, 장기 기억을 활용한 3D 환경에서의 추론 능력을 평가한다. 또한, LLM에서 임바디드 공간-시간 추론 및 행동을 위한 새로운 동적 메모리 관리 및 융합 모델인 3DLLM-Mem을 제안한다. 3DLLM-Mem은 작업 기억 토큰을 사용하여 과거 관찰 및 상호 작용을 저장하는 에피소드 기억에서 가장 유용한 공간 및 시간적 특징을 선택적으로 선택하고 융합한다. 실험 결과, 3DLLM-Mem은 다양한 작업에서 최첨단 성능을 달성하며, 3DMem-Bench의 가장 어려운 현실 세계 임바디드 태스크에서 성공률 기준으로 기존 최고 성능 모델보다 16.5% 향상된 결과를 보였다.
