본 논문은 동적인 환경에서 작동하는 지능형 에이전트에게 필수적인 평생 학습(Lifelong Learning) 능력을 평가하기 위한 새로운 벤치마크, LifelongAgentBench를 제시합니다. 기존의 대규모 언어 모델(LLM) 기반 에이전트는 상태 비저장(stateless)이며 시간에 따라 지식을 축적하거나 전이할 수 없다는 한계를 가지고 있고, 기존 벤치마크는 에이전트를 정적 시스템으로 취급하여 평생 학습 능력을 평가하지 못한다는 점을 지적합니다. LifelongAgentBench는 데이터베이스, 운영 체제, 지식 그래프 등 세 가지 상호작용 환경에서 기술 기반의 상호 의존적인 작업을 제공하며, 자동 라벨 검증, 재현성, 모듈식 확장성을 특징으로 합니다. 실험 결과, 기존의 경험 재현(experience replay)은 LLM 에이전트에게는 무관한 정보와 문맥 길이 제약으로 인해 효과가 제한적임을 보이고, 그룹 자기 일관성(group self-consistency) 메커니즘이 평생 학습 성능을 크게 향상시킴을 보여줍니다. 본 연구는 적응력 있고 기억 능력이 있는 LLM 에이전트 개발을 위한 발전에 기여할 것으로 기대됩니다.
