본 논문은 동적인 환경에서 작동하는 지능형 에이전트에게 필수적인 평생 학습(Lifelong Learning) 능력을 평가하기 위한 새로운 벤치마크, LifelongAgentBench를 제시합니다. 기존의 대규모 언어 모델(LLM) 기반 에이전트는 상태 비저장(stateless)이며 시간에 따른 지식 축적이나 전이가 불가능하다는 한계를 가지고 있으며, 기존 벤치마크 또한 평생 학습 능력을 제대로 평가하지 못한다는 점을 지적합니다. LifelongAgentBench는 데이터베이스, 운영체제, 지식 그래프 세 가지 상호작용 환경에서 기술 기반의 상호 의존적인 작업들을 제공하며, 자동 레이블 검증, 재현성, 모듈식 확장성을 갖추고 있습니다. 실험 결과, 기존의 경험 재현(experience replay) 기법은 LLM 에이전트에게는 무관한 정보와 컨텍스트 길이 제약으로 인해 효과가 제한적임을 보여주고, 그룹 자기 일관성(group self-consistency) 메커니즘을 통해 평생 학습 성능을 크게 향상시킬 수 있음을 제시합니다.
