Hippocampus: An Efficient and Scalable Memory Module for Agentic AI

Created by

Haebom

저자

Yi Li, Lianjie Cao, Faraz Ahmed, Puneet Sharma, Bingzhe Li

💡 개요

본 논문은 LLM의 제한된 컨텍스트 창을 넘어 사용자별 기록을 저장하는 지속적인 기억 시스템의 필요성을 제기합니다. 기존의 벡터 데이터베이스나 지식 그래프 기반 시스템은 높은 검색 지연 시간과 낮은 저장 확장성 문제를 겪고 있으며, 이를 해결하기 위해 압축된 이진 서명을 활용한 의미론적 검색과 무손실 토큰 ID 스트림을 이용한 내용 복원을 결합한 Hippocampus를 제안합니다. 핵심 기술인 동적 웨이블릿 행렬(DWM)을 통해 데이터 압축 및 공동 인덱싱을 수행하여, 고비용의 벡터 또는 그래프 계산 없이도 압축된 영역에서 초고속 검색을 지원하며, 선형적인 확장성을 제공합니다.

🔑 시사점 및 한계

•

LLM 기반 에이전트 시스템에서 장기적인 기억 관리를 위한 효율적이고 확장 가능한 솔루션을 제시합니다.

•

기존 방식 대비 현저히 낮은 검색 지연 시간과 토큰 사용량 감소를 통해 에이전트의 성능 및 비용 효율성을 향상시킬 수 있습니다.

•

본 연구는 LoCoMo 및 LongMemEval 벤치마크에서 높은 정확도를 유지하면서도 성능 향상을 입증했습니다.

•

Hippocampus의 실제 장기 에이전트 배포 환경에서의 지속적인 성능 및 안정성 검증이 향후 과제로 남습니다.

PDF 보기

Made with Slashpage