본 논문은 기존의 LLM 기반 에이전트 프레임워크가 과거 경험을 충분히 활용하지 못하는 점을 해결하기 위해, 과거 경험을 심층적으로 분석하는 새로운 LLM 기반 에이전트 프레임워크인 Retrospex를 제안한다. Retrospex는 과거 경험을 LLM의 컨텍스트에 직접 통합하는 대신, LLM의 행동 가능성과 강화학습(RL) Critic이 추정한 행동 가치를 결합한다. RL Critic은 오프라인 'retrospection' 과정을 통해 과거 경험으로 훈련된다. 또한, 환경과의 상호작용이 더 많이 필요한 작업에 대해서는 경험 기반 가치의 중요도를 높이는 동적 행동 재평가 메커니즘을 사용한다. ScienceWorld, ALFWorld, Webshop 환경에서의 평가를 통해 기존 최첨단 기법보다 우수한 성능을 보임을 입증한다.
