AgentRecBench: Benchmarking LLM Agent-based Personalized Recommender Systems
Created by
Haebom
저자
Yu Shang, Peijie Liu, Yuwei Yan, Zijing Wu, Leheng Sheng, Yuanqing Yu, Chumeng Jiang, An Zhang, Fengli Xu, Yu Wang, Min Zhang, Yong Li
개요
본 논문은 대규모 언어 모델(LLM) 기반의 에이전트 추천 시스템이 개인화된 추천에서 패러다임 전환을 가져왔음을 제시합니다. 기존 추천 방식과 달리, 에이전트 추천 시스템은 복잡한 환경에서 사용자-아이템 상호작용을 동적으로 수집하고 해석하여 다양한 시나리오에 일반화되는 강력한 추천 전략을 생성합니다. 하지만 이 분야에는 이러한 방법들을 체계적으로 평가하기 위한 표준화된 평가 프로토콜이 부족합니다. 이를 해결하기 위해 본 논문은 풍부한 사용자 및 아이템 메타데이터를 통합한 대화형 텍스트 추천 시뮬레이터와 에이전트 추천 시스템 개발 및 연구를 위한 통합 모듈형 프레임워크를 제안합니다. 또한 10가지의 기존 및 에이전트 추천 방법을 비교하는 포괄적인 벤치마크를 제시하며, 에이전트 시스템의 우수성을 보여주고 핵심 구성 요소에 대한 실행 가능한 설계 지침을 확립합니다. 이 벤치마크 환경은 공개 챌린지를 통해 엄격하게 검증되었으며, 지속적으로 유지 관리되는 리더보드와 함께 공개적으로 제공되어 지속적인 커뮤니티 참여와 재현 가능한 연구를 촉진합니다.