PERMA: Benchmarking Personalized Memory Agents via Event-Driven Preference and Realistic Task Environments

Created by

Haebom

저자

Shuochen Liu, Junyi Zhu, Long Shu, Junda Lin, Yuhao Chen, Haotian Zhang, Chao Zhang, Derong Xu, Jia Li, Bo Tang, Zhiyu Li, Feiyu Xiong, Enhong Chen, Tong Xu

💡 개요

본 논문은 사용자의 변화하는 요구에 적응하는 에이전트 개발을 위해 LLM의 장기 기억 능력을 평가하는 새로운 벤치마크인 PERMA를 제안합니다. PERMA는 과거 연구의 한계를 극복하여, 시간 순서에 따른 상호작용 이벤트와 점진적으로 형성되는 사용자 선호도를 반영합니다. 이를 통해 기존의 단편적인 선호도 검색 방식보다 더욱 현실적인 개인화 에이전트의 성능을 평가할 수 있습니다.

🔑 시사점 및 한계

•

PERMA 벤치마크는 실세계의 점진적이고 누적적인 사용자 선호도 변화를 반영하여 보다 현실적인 개인화 에이전트 평가를 가능하게 합니다.

•

상호작용 이벤트 간의 연관성을 활용하는 고급 메모리 시스템은 더 정확한 선호도를 추출하고 토큰 소비를 줄여 기존 검색 방식보다 우수한 성능을 보입니다.

•

고급 메모리 시스템 역시 장기적인 일관성 유지 및 도메인 간 간섭 문제에서 어려움을 겪고 있어, 개인화된 메모리 관리 능력 강화의 필요성을 보여줍니다.

PDF 보기

Made with Slashpage