LLM 기반 에이전트는 구조적 추론, 도구 사용, 환경 적응이 필요한 작업에 적용되지만, 기존 훈련 방식은 높은 계산 부담과 해석, 적응, 점진적 개선의 어려움을 가진다. 본 논문은 에이전트 최적화를 위해 경험적 학습의 구조화된 메모리를 생성하고 개선하는 방법을 연구한다. BREW (Bootstrapping expeRientially-learned Environmental knoWledge) 프레임워크를 소개하며, KB 구축 및 개선을 통해 다운스트림 작업을 위한 에이전트 최적화를 수행한다. BREW는 효율적인 검색 및 개선을 위해 에이전트 메모리를 분할하고, 작업 채점기와 행동 루브릭을 사용하여 통찰력을 학습하며, 상태 공간 검색을 활용하여 자연어의 잡음과 비특정성으로부터 견고성을 확보한다. OSWorld, $\tau^2$Bench, SpreadsheetBench 벤치마크에서 BREW는 작업 정밀도 $10-20$ 향상, API/도구 호출 $10-15$ 감소를 달성하면서 계산 효율성을 유지한다.
