Lightweight LLM Agent Memory with Small Language Models
Created by
- Haebom
Category
Empty
저자
Jiaquan Zhang, Chaoning Zhang, Shuxu Chen, Zhenzhen Huang, Pengcheng Zheng, Zhicheng Wang, Ping Guo, Fan Mo, Sung-Ho Bae, Jie Zou, Jiwei Wei, Yang Yang
💡 개요
본 논문은 LLM 에이전트의 장기적인 상호작용에서 일관성을 유지하고 정보를 누적하는 데 필수적인 메모리 시스템의 문제를 다룹니다. 이를 해결하기 위해 저자들은 Small Language Models(SLMs)를 활용하여 경량화된 메모리 시스템인 LightMem을 제안합니다. LightMem은 검색, 기록, 장기 기억 통합을 모듈화하고 온라인 처리와 오프라인 통합을 분리하여 효율적인 메모리 호출을 가능하게 하며, 다양한 모델 규모에서 평균 2.5%의 F1 점수 향상과 낮은 응답 시간을 달성했습니다.
🔑 시사점 및 한계
•
SLM을 활용하여 LLM 에이전트의 메모리 시스템을 경량화하고 효율성을 높일 수 있습니다.
•
단기, 중기, 장기 메모리를 체계적으로 분리하고, 온라인/오프라인 처리를 분리하여 성능과 효율성을 동시에 개선했습니다.
•
다중 사용자 환경에서의 독립적인 검색 및 점진적 유지보수를 지원하는 방안을 제시했습니다.
•
제안된 LightMem 시스템의 실제 복잡한 시나리오에서의 일반화 성능 및 다양한 SLM 아키텍처에서의 적용 가능성에 대한 추가 연구가 필요합니다.
