KEEP: A KV-Cache-Centric Memory Management System for Efficient Embodied Planning

Created by

Haebom

저자

Zebin Yang, Tong Xie, Baotong Lu, Shaoshan Liu, Bo Yu, Meng Li

💡 개요

본 연구는 복잡하고 장기적인 체화 계획(embodied planning)에서 LLM의 메모리 관리 효율성을 높이기 위한 KV-cache 중심 시스템인 KEEP를 제안합니다. KEEP는 정적-동적 메모리 구성, 다중 홉 메모리 재연산, 계층 균형 메모리 로딩 기술을 통해 KV 캐시 재계산 및 로딩의 비효율성을 해결합니다. 이를 통해 기존 텍스트 기반 메모리 방식 대비 2.68배의 속도 향상과 무시할 만한 정확도 손실을 달성했습니다.

🔑 시사점 및 한계

•

LLM 기반 체화 계획에서 KV 캐시를 적극적으로 활용하는 새로운 메모리 관리 패러다임을 제시합니다.

•

혼합된 메모리 세분성, 동적인 중요 메모리 상호작용 식별, 계층별 부하 균형을 통해 효율성을 극대화합니다.

•

제안된 KEEP 시스템은 ALFRED 데이터셋에서 기존 방법론 대비 우수한 성능을 보여주었으며, 특히 CacheBlend와 비교했을 때 성공률 향상과 TTFT 감소라는 성과를 거두었습니다.

•

본 연구는 특정 체화 계획 환경(ALFRED)에서의 성능을 검증하였으며, 다양한 환경 및 복잡한 시나리오에서의 일반화 가능성에 대한 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage