Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory

Created by
  • Haebom
Category
Empty

저자

Tianxin Wei, Noveen Sachdeva, Benjamin Coleman, Zhankui He, Yuanchen Bei, Xuying Ning, Mengting Ai, Yunzhe Li, Jingrui He, Ed H. Chi, Chi Wang, Shuo Chen, Fernando Pereira, Wang-Cheng Kang, Derek Zhiyuan Cheng

개요

LLM 에이전트의 장기적인 계획 및 문제 해결 능력에 필수적인 상태 유지를 위해 메모리 관리가 중요하지만, 기존 연구는 정적인 대화 환경에 초점을 맞춰 동적인 경험 축적 및 재사용 능력을 간과했다. 본 논문은 LLM 에이전트의 자체 진화하는 메모리를 평가하기 위한 포괄적인 스트리밍 벤치마크 및 프레임워크인 Evo-Memory를 소개한다. Evo-Memory는 연속적인 작업 스트림으로 데이터를 구성하여 LLM이 각 상호 작용 후 메모리를 검색, 적응 및 진화하도록 요구한다. 10개 이상의 대표적인 메모리 모듈을 통합 및 구현하고, 10개의 다양한 데이터 세트에서 평가한다. 또한, 경험 재사용을 위한 기준 방법인 ExpRAG와 추론, 작업 수행, 메모리 업데이트를 통합하여 지속적인 개선을 달성하는 ReMem 파이프라인을 제안한다.

시사점, 한계점

시사점:
LLM 에이전트의 메모리 관리를 위한 새로운 벤치마크 및 프레임워크 제시 (Evo-Memory).
다양한 메모리 모듈을 통합하고 평가하여 메모리 성능 비교 가능.
경험 재사용을 위한 기준 방법(ExpRAG) 및 개선된 파이프라인(ReMem) 제시.
실제 환경에서의 LLM 에이전트 성능 향상 가능성 제시.
한계점:
구체적인 성능 지표 및 데이터 세트에 대한 추가 정보 필요.
제안된 방법론(ReMem)의 일반화 가능성 검증 필요.
다양한 환경 및 작업에 대한 적용 가능성 추가 연구 필요.
👍