Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory
Created by
Haebom
Category
Empty
저자
Tianxin Wei, Noveen Sachdeva, Benjamin Coleman, Zhankui He, Yuanchen Bei, Xuying Ning, Mengting Ai, Yunzhe Li, Jingrui He, Ed H. Chi, Chi Wang, Shuo Chen, Fernando Pereira, Wang-Cheng Kang, Derek Zhiyuan Cheng
개요
LLM 에이전트의 장기적인 계획 및 문제 해결 능력에 필수적인 상태 유지를 위해 메모리 관리가 중요하지만, 기존 연구는 정적인 대화 환경에 초점을 맞춰 동적인 경험 축적 및 재사용 능력을 간과했다. 본 논문은 LLM 에이전트의 자체 진화하는 메모리를 평가하기 위한 포괄적인 스트리밍 벤치마크 및 프레임워크인 Evo-Memory를 소개한다. Evo-Memory는 연속적인 작업 스트림으로 데이터를 구성하여 LLM이 각 상호 작용 후 메모리를 검색, 적응 및 진화하도록 요구한다. 10개 이상의 대표적인 메모리 모듈을 통합 및 구현하고, 10개의 다양한 데이터 세트에서 평가한다. 또한, 경험 재사용을 위한 기준 방법인 ExpRAG와 추론, 작업 수행, 메모리 업데이트를 통합하여 지속적인 개선을 달성하는 ReMem 파이프라인을 제안한다.
시사점, 한계점
•
시사점:
◦
LLM 에이전트의 메모리 관리를 위한 새로운 벤치마크 및 프레임워크 제시 (Evo-Memory).